JP6996413B2 - 解析装置および解析プログラム - Google Patents

解析装置および解析プログラム Download PDF

Info

Publication number
JP6996413B2
JP6996413B2 JP2018087114A JP2018087114A JP6996413B2 JP 6996413 B2 JP6996413 B2 JP 6996413B2 JP 2018087114 A JP2018087114 A JP 2018087114A JP 2018087114 A JP2018087114 A JP 2018087114A JP 6996413 B2 JP6996413 B2 JP 6996413B2
Authority
JP
Japan
Prior art keywords
image data
determination
coating
painted
cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018087114A
Other languages
English (en)
Other versions
JP2019192131A (ja
Inventor
洋平 佐野
有一 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018087114A priority Critical patent/JP6996413B2/ja
Priority to US16/375,194 priority patent/US10533849B2/en
Priority to CN201910338474.XA priority patent/CN110428393B/zh
Publication of JP2019192131A publication Critical patent/JP2019192131A/ja
Application granted granted Critical
Publication of JP6996413B2 publication Critical patent/JP6996413B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1005—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to condition of liquid or other fluent material already applied to the surface, e.g. coating thickness, weight or pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427—Coatings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、解析装置および解析プログラムに関する。
塗装欠陥が生じた場合に、塗装欠陥データや塗装条件データを入力して塗装欠陥の原因を判定する装置が知られている（例えば、特許文献１参照）。
特開２００５－１１８７５７号公報
従前の技術によれば、塗装欠陥データや塗装条件データを入力する必要があるため、まず塗装欠陥の状況を解析しなければならず、塗装欠陥の原因に辿り着くまでに手間と時間がかかっていた。
本発明は、このような問題を解決するためになされたものであり、塗装表面に突起として現れる塗装欠陥である塗装ブツの発生原因を、精度良く、容易かつ短時間に解析できる解析装置等を提供するものである。
本発明の第１の態様における解析装置は、塗装表面に突起として現れる塗装欠陥である塗装ブツが発生した発生原因を解析する解析装置であって、学習対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した学習画像データと、当該塗装ブツを解析することにより推定された入力データとの組合せを教師データとして学習した学習済みニューラルネットワークを記憶した記憶部と、判定対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した判定画像データを取得する取得部と、取得部が取得した判定画像データを記憶部から読み出した学習済みニューラルネットワークに入力して、判定対象の塗装面に発生した塗装ブツの発生原因を判定する判定部と、判定部によって判定された発生原因に関する情報を出力する出力部とを備える。このように、塗装欠陥の塗装層の少なくとも表層を削るという単純な作業を経て得られた画像データをニューラルネットワークで取り扱う対象画像データとすることにより、塗装ブツの発生原因を精度良く、容易かつ短時間に解析できる解析装置を実現できる。
上記の解析装置において、学習画像データおよび判定画像データは、塗装ブツが塵埃に起因する場合は、塵埃が表出するまで削られた表面を撮影した画像データであると良い。塵埃が表出した状態の表面を撮影した画像データを用意すれば、判定精度が向上する。また、判定部は、予め定められた判定基準を満たす判定を行えない場合には、判定対象の塗装層を更に削った表面を撮影した判定画像データが必要である旨の判定を行うようにしても良い。削り量を変更した画像データを要求することにより、更に精度の高い判定を実現することができる。
また、上記の解析装置において、記憶部は、塗装色ごとに複数の学習済みニューラルネットワークを記憶しており、判定部は、取得部が取得した判定画像データが示す塗装色に基づいて、判定画像データを入力する学習済みニューラルネットワークを選択するように構成しても良い。塗装色ごとに学習済みニューラルネットワークを構築して選択的に用いることにより、更に判定精度を向上させることができる。
また、上記の解析装置において、教師データは、塗装層を削る前の表面を撮影した削除前学習画像データを含み、取得部は、判定対象の塗装層を削っていない表面を撮影した削除前判定画像データを取得し、判定部は、取得部が取得した削除前判定画像データを記憶部から読み出した学習済みニューラルネットワークに入力して、判定対象の塗装面に発生した塗装ブツの発生原因を判定するようにしても良い。このように構成すれば、判定したい塗装表面を削らなくても、簡易的に判定結果を得ることができる。したがって、作業の手間や時間を削減することができる。
この場合に、取得部は、判定部が発生原因を判定できなかった場合に削除後の判定画像データを取得し、判定部は、取得部が取得した削除後の判定画像データを学習済みニューラルネットワークに入力して、判定対象の塗装面に発生した塗装ブツの発生原因を判定するように構成しても良い。塗装表面を削らない場合には判定精度が低下することが予想されるが、一定の精度を確保できない場合には、削除後の判定画像データを用いることによって再判定させれば、判定精度と簡易な判定を両立させることができる。
本発明の第２の態様における解析プログラムは、塗装表面に突起として現れる塗装欠陥である塗装ブツが発生した発生原因を解析する解析プログラムであって、判定対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した判定画像データを取得する取得ステップと、学習対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した学習画像データと、当該塗装ブツを解析することにより推定された入力データとの組合せを教師データとして学習した学習済みニューラルネットワークを記憶部から読み出す読出しステップと、取得ステップで取得した判定画像データを記憶部から読み出した学習済みニューラルネットワークに入力して、判定対象の塗装面に発生した塗装ブツの発生原因を判定する判定ステップと、判定ステップによって判定された発生原因に関する情報を出力する出力ステップとをコンピュータに実行させる。このように、塗装欠陥の塗装層の少なくとも表層を削るという単純な作業を経て得られた画像データをニューラルネットワークで取り扱う対象画像データとすることにより、塗装ブツの発生原因を精度良く、容易かつ短時間に解析できる解析プログラムを実現できる。
本発明により、塗装表面に突起として現れる塗装欠陥である塗装ブツの発生原因を、精度良く、容易かつ短時間に解析できる。
解析システムの全体の構成を示す全体概念図である。 システムサーバの構成を示すブロック図である。 塗装ブツが発生した表面近傍の断面拡大図である。 教師データについて説明する図である。 システムサーバの処理フローを示すフロー図である。 第１の変形例に係るシステムサーバの構成を示すブロック図である。 第１の変形例に係るシステムサーバの処理フローを示すフロー図である。 第２の変形例に係る教師データについて説明する図である。 第２の変形例に係るシステムサーバの処理フローを示すフロー図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
図１は、解析システム１００の全体の構成を示す全体概念図である。解析システム１００は、例えば乗用車の車体９００の塗装表面に発見された塗装ブツの発生原因を解析する解析システムである。塗装ブツは、塗装表面に突起として現れる塗装欠陥であり、塗装中に塵埃が付着したり、塗料中に気泡が混入したりすることによって発生する。解析システム１００は、発見された塗装ブツがどのような原因によって発生したかを、ニューラルネットワークを利用して判定する。
オペレータＯＰは、塗装工程を完了した車体９００、あるいは塗装工程中の車体９００を観察して塗装ブツ９０１を発見すると、その表面を軽く削って、入力端末１１０のカメラで当該塗装ブツを撮影する。オペレータＯＰは、入力端末１１０を操作して、撮影した画像の画像データを、無線通信を介してシステムサーバ１２０へ送信する。
システムサーバ１２０は、インターネット１９０と接続されており、無線ルータ１５０を介して当該画像データを取得する。システムサーバ１２０は、塗装ブツが発生した発生原因を解析する解析装置として、画像中に写る塗装ブツの発生原因を、学習済みニューラルネットワークを用いて判定する。そして、判定した発生原因に関する情報を、インターネット１９０および無線ルータ１５０を介して出力端末１３０へ出力する。
出力端末１３０は、システムサーバ１２０から受信した発生原因に関する情報を、表示モニタ１３１へ表示する。塗装管理者は、システムサーバ１２０で判定された発生原因を、表示モニタ１３１を通じて認識することができる。
なお、システムサーバ１２０を中核とする解析システム１００の構成は、さまざまに構成し得る。発生原因に関する情報を入力端末１１０の表示画面に表示するようにしても良いし、有線通信でシステムサーバ１２０と出力端末１３０を結んでも良い。また、インターネット１９０を仲介させず、限定的なネットワークを用いることにより解析システム１００を外部のネットワークに対して遮断するように構成しても良い。また、オペレータＯＰが入力端末１１０を操作して塗装ブツ９０１を撮影するのではなく、自動撮影システムを構築して塗装ブツ９０１を撮影するようにしても良い。表層を削る工程も、自動化しても良い。また、画像データを蓄積する画像サーバを別個に組み込んでも良い。
システムサーバ１２０について説明する。図２は、システムサーバ１２０の構成を示すブロック図である。システムサーバ１２０は、主に、演算部１２１、記憶部１２２、取得部１２３、および出力部１２４によって構成されている。
演算部１２１は、例えばＣＰＵであり、システムサーバ１２０全体の制御とさまざまな演算処理とを担う。記憶部１２２は、例えばハードディスクドライブであり、演算部１２１が実行するソフトウェアプログラムの他、学習済みニューラルネットワーク１２２ａ（以下、「学習済みＮＮ１２２ａ」などと記す）を記憶している。
取得部１２３は、インターネット１９０と接続するための通信インターフェースを含む。通信インターフェースは、例えば無線ＬＡＮユニットである。取得部１２３は、判定対象となる塗装ブツを撮影した判定画像データを取得して、演算部１２１へ引き渡す。
演算部１２１は、判定画像データを取得部１２３から受け取ると、記憶部１２２から学習済みＮＮ１２２ａを読み出す。演算部１２１が担う機能実行部としての判定部１２１ａは、判定画像データを学習済みＮＮ１２２ａに入力して、判定対象の塗装面に発生した塗装ブツの発生原因を判定し、出力部１２４へ引き渡す。
出力部１２４は、インターネット１９０と接続するための通信インターフェースを含む。出力部１２４は、取得部１２３の通信インターフェースを共用しても良い。出力部１２４は、判定部１２１ａによって判定された発生原因に関する情報を、出力端末１３０へ出力する。
図３は、塗装ブツ９０１が発生した表面近傍の断面拡大図である。車体９００の塗装は、素地に対して数層に亘って重ねて行われる。図示するように、外界に面する表層を第１層とすると、第１層より第２層、第２層より第３層が素地に近い塗装層であり、より以前の塗装工程で塗装された層である。ここで、例えば第２層の塗装工程中に塵埃が付着して塗装ブツ９０１が発生すると、第２層、第１層の塗装面が隆起して塗装不良となる。
本実施形態における学習済みＮＮ１２２ａは、塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した学習画像データと、当該塗装ブツを解析することにより推定された入力データとの組合せを教師データとしてニューラルネットワークに学習させたものである。学習画像データは、図３に示すような塵埃に起因する塗装ブツである場合には、破線で示す深さまで削って塵埃を表出させた表面を撮影したものであると良い。表層を削っただけでも、塗装ブツの特徴を画像として取り込みやすくなるが、塵埃が表出した状態の画像であれば、より効果的に学習させることができ、ひいては発生原因の判定精度を向上させることができる。
図４は、教師データについて説明する図である。ニューラルネットワークの学習段階においては、まず、例えば熟練者が、それぞれの学習画像データの画像を確認しながら、自らの知識や経験に基づいて推測する塗装ブツの発生原因を端末に入力していく。このように入力された入力データは、当該学習画像データと組み合わされて、教師データを形成する。そして、学習画像データを入力情報、組み合わされた入力データを出力の正解として、ニューラルネットワークに教師あり学習を行わせる。
少なくとも表層を削った表面を撮影した学習画像は、図示するようにその形状や表出の仕方などは多様である。熟練者は、それぞれの画像に対して例えば「鉄ブツ」「コート剤」「中ＰＨカス」などと、推定される発生原因を対応させていく。このように形成された教師データを一定数用意してニューラルネットワークに学習させることにより、学習済みＮＮ１２２ａが生成される。生成された学習済みＮＮ１２２ａは、システムサーバ１２０の記憶部１２２に移されて実用に供される。なお、熟練者の知識や経験に頼らず、科学的な分析に基づいて発生原因を特定し、学習画像データに対応付けても良い。
次に、システムサーバ１２０が実行する処理について説明する。図５は、システムサーバ１２０の処理フローを示すフロー図である。
取得部１２３は、ステップＳ１０１で、判定対象の塗装面が撮影された判定画像データを取得する。判定画像データは、上述の学習画像データと同様に、塗装ブツ上の少なくとも表層を削った表面を撮影した画像データである。取得部１２３は、取得した判定画像データを判定部１２１ａへ引き渡す。
判定部１２１ａは、ステップＳ１０２で、記憶部１２２から学習済みＮＮ１２２ａを読み出す。そして、ステップＳ１０３で、読み出した学習済みＮＮ１２２ａに取得した判定画像データを入力して、塗装ブツの発生原因を判定する。
判定部１２１ａは、ステップＳ１０４で、塗装ブツの発生原因を判定できたか否かを確認する。判定部は、予め定められた判定基準を満たす判定を行えたか否かにより、塗装ブツの発生原因を判定できたか否かを確認する。例えば、学習済みＮＮ１２２ａの出力として用意されたカテゴリ（発生原因）のいずれもが、予め定められた閾値となる確率（例えば７５％）を上回らなかった場合には、発生原因を判定できなかったものとする。
ステップＳ１０４で判定できたと確認された場合には、ステップＳ１０５へ進み、判定部１２１ａは、出力部１２４へ判定した発生原因を引き渡し、出力部１２４は、当該情報を出力端末１３０へ出力する。通信が確立されていないなどの理由により出力端末１３０へ出力できない場合等においては、当該情報を記憶部１２２へ記憶させても良い。
ステップＳ１０４で判定できなかったと確認された場合には、ステップＳ１０６へ進み、判定部１２１ａは、判定対象の塗装層を更に削った表面を撮影した判定画像データが必要であるとの判定を行い、出力部１２４へその旨を引き渡す。出力部１２４は、当該情報を出力端末１３０へ出力する。ステップＳ１０５またはステップＳ１０６の処理が完了したら、一連の処理を終了する。
以上のように、塗装管理者は、塗装欠陥の表面を削るという単純な作業を経て得られた画像データをシステムサーバ１２０へ送るだけで、塗装ブツの発生原因を認識することができる。一定数の教師データを用意して学習済みＮＮ１２２ａの判定精度を高めれば、塗装ブツの発生原因を精度良く、容易かつ短時間に解析できる解析装置を実現できる。ひいては、塗装工程の見直しを短時間に行うことができ、塗装工程における歩留まり向上にも寄与する。
次に、いくつかの変形例について説明する。図６は、第１の変形例に係るシステムサーバの構成を示すブロック図である。第１の変形例に係るシステムサーバ１２０は、演算部１２１が機能実行部として色識別部１２１ｂを有する点、および、記憶部１２２が複数の学習済みＮＮ１２２ｂ、１２２ｃ、１２２ｄ…を記憶している点において、図２に示したシステムサーバ１２０と異なる。
本変形例においては、表層の塗装色ごとに学習済みニューラルネットワークが用意されている。例えば、学習済みＮＮ１２２ｂは、表層が赤色の塗装面である塗装ブツを撮影した学習画像データによる教師データで学習した学習済みニューラルネットワークであり、学習済みＮＮ１２２ｃは、表層が青色の塗装面である塗装ブツを撮影した学習画像データによる教師データで学習した学習済みニューラルネットワークである。
色識別部１２１ｂは、判定画像データを解析し、判定対象の表層の塗装色が何色であるかを識別する。色識別部１２１ｂは、例えば、削られていない周辺画像領域を抽出して色識別を行う。識別した塗装色は、判定部１２１ａへ引き渡される。
判定部１２１ａは、記憶部１２２に記憶されている複数の学習済みＮＮ１２２ｂ、１２２ｃ、１２２ｄ…のうち、色識別部１２１ｂが識別した塗装色に対応する学習済みＮＮを読み出し、その学習済みＮＮを用いて判定対象の塗装面に発生した塗装ブツの発生原因を判定する。
図７は、第１の変形例に係るシステムサーバ１２０の処理フローを示すフロー図である。図５で示したフローと実質的に同じ処理を実行するフローには同じ符番を付し、特に言及しない限りその説明を省略する。
ステップＳ１０１で、取得部１２３が判定画像データを色識別部１２１ｂへ引き渡すと、ステップＳ２０１へ進み、色識別部１２１ｂは、上述のように、判定対象の表層の塗装色が何色であるかを識別し、判定部１２１ａへ引き渡す。ステップＳ２０２へ進み、判定部１２１ａは、上述のように、記憶部１２２に記憶されている複数の学習済みＮＮ１２２ｂ、１２２ｃ、１２２ｄ…のうち、色識別部１２１ｂが識別した塗装色に対応する学習済みＮＮを読み出す。ステップＳ１０３へ進み、判定部１２１ａは、ステップＳ２０２で読み出した特定の学習済みＮＮを用いて、判定対象の塗装面に発生した塗装ブツの発生原因を判定する。本変形例のように、塗装色ごとに学習済みニューラルネットワークを構築して選択的に用いれば、塗装ブツの発生原因を更に精度良く判定することができる。
次に第２の変形例について説明する。図８は、第２の変形例に係る教師データについて説明する図である。第２の変形例における学習済みＮＮは、塗装層を削る前の表面を撮影した削除前学習画像データも含めて学習している点において、図４を用いて説明した教師データによって生成した学習済みＮＮと異なる。
第２の変形例におけるニューラルネットワークの学習段階においては、まず、例えば熟練者が、それぞれの削除前学習画像データの画像または学習画像データの画像、あるいはその両方の画像を確認しながら、自らの知識や経験に基づいて推測する塗装ブツの発生原因を端末に入力していく。このように入力された入力データは、当該削除前学習画像データおよび学習画像データと組み合わされて、教師データを形成する。そして、第一段階として削除前学習画像データを入力情報、組み合わされた入力データを出力の正解として、ニューラルネットワークに教師あり学習を行わせる。さらに第二段階として学習画像データを入力情報、組み合わされた入力データを出力の正解として、ニューラルネットワークに教師あり学習を行わせる。なお、熟練者の知識や経験に頼らず、科学的な分析に基づいて発生原因を特定し、削除前学習画像データおよび学習画像データに対応付けても良い。
生成された学習済みＮＮは、システムサーバ１２０の記憶部１２２に移されて実用に供される。このように生成された学習済みＮＮは、２段階の判定段階を有する。すなわち、削除前の判定画像データを入力画像データとして受け付けて確からしい発生原因が判定できた場合には、その判定結果を出力する。確からしい発生原因が判定できなかった場合には、削除後の判定画像データを入力画像データとして受け付けて、より精度の高い判定を行う。
このように学習済みＮＮを構成すれば、判定したい塗装表面を削らなくても簡易的に判定結果を得ることができる。したがって、オペレータＯＰは、まずは、塗装表面を削る前の削除前判定画像データを用意すれば良く、塗装表面を削る作業の手間や時間を削減することができる。また、簡易的な判定では一定の精度を確保できない場合には、オペレータＯＰは、塗装表面を削った後の判定画像データを用意し、学習済みＮＮは、当該削除後の判定画像データを受け取って再判定する。このような再判定を行うことにより判定精度も担保できる。すなわち、このような学習済みＮＮを利用すれば、作業の効率化と判定精度の確保を両立させることができる。
図９は、第２の変形例に係るシステムサーバ１２０の処理フローを示すフロー図である。図５で示したフローと実質的に同じ処理を実行するフローには同じ符番を付し、特に言及しない限りその説明を省略する。
取得部１２３は、ステップＳ３０１で、判定対象の塗装面が撮影された削除前判定画像データを取得する。削除前判定画像データは、塗装ブツ上の表層に対して削る作業が行われる前の表面を撮影した画像データである。取得部１２３は、取得した判定画像データを判定部１２１ａへ引き渡す。
ステップＳ１０２を経てステップＳ３０２では、読み出した学習済みＮＮ１２２に取得した削除前判定画像データを入力して、塗装ブツの発生原因を判定する。そして、ステップＳ１０４へ進み、ＹＥＳと確認されてステップＳ１０５へ進んだ場合には、削除前判定画像データで確からしい発生原因が判定できたものとして、一連の処理を終了する。
ステップＳ１０４でＮＯと確認された場合には、ステップＳ３０３へ進む。判定部１２１ａは、ステップＳ３０３で、塗装ブツ上の少なくとも表層を削った表面を撮影した画像データである判定画像データが必要であるとの判定を行い、出力部１２４へその旨を引き渡す。出力部１２４は、当該情報を出力端末１３０へ出力する。
取得部１２３は、ステップＳ３０４で、判定画像データを取得して判定部１２１ａへ引き渡す。判定部１２１ａは、続くステップＳ３０５で、学習済みＮＮ１２２に取得した削除前判定画像データを入力して、塗装ブツの発生原因を判定する。判定部１２１ａは、ステップＳ３０６で、出力部１２４へ判定した発生原因を引き渡し、出力部１２４は、当該情報を出力端末１３０へ出力して、一連の処理を終了する。
なお、ステップＳ３０５の判定結果の確からしさを更に確認して、図５におけるステップＳ１０６のように、修正判定画像を要求しても構わない。また、第２の変形例においても、第１の変形例のように、塗装色ごとに学習済みＮＮを用意し、取得部が取得した画像データから識別される塗装色に応じて学習済みＮＮを読み出すようにしても良い。
各変形例を含め本実施形態においては、入力情報として画像データを利用する例を説明したが、画像データに加えて他の情報を教師データおよび判定用データに加えても良い。例えば、塗装環境の温度情報、湿度情報、塗装が行われた時刻情報も、判定精度を向上させる付加情報として利用できる。
また、図４等において示した塗装ブツが発生した発生原因は例示であって、もちろん他の発生原因を判定対象に加えても良い。また、学習画像データは、一つの発生原因に対して多数用意されることが好ましい。塗装ブツは、塵埃や気泡に限らず、別塗料の混入や油分の飛散などによっても生じ得る。
また、塗装ブツが画像に対して一定の大きさとなるように、塗装表面に対する画角を一定に保つためのカメラ治具等を利用しても良い。この場合、同種の塗装ブツであれば、画像領域に対しておよそ一定の大きさとなるので、発生原因の判定精度向上にも寄与する。
１００ 解析システム、１１０ 入力端末、１２０ システムサーバ、１２１ 演算部、１２１ａ 判定部、１２１ｂ 色識別部、１２２ 記憶部、１２２ａ 学習済みＮＮ、１２３ 取得部、１２４ 出力部、１３０ 出力端末、１３１ 表示モニタ、１５０ 無線ルータ、１９０ インターネット、９００ 車体、９０１ 塗装ブツ

Claims (7)

  1. 塗装表面に突起として現れる塗装欠陥である塗装ブツが発生した発生原因を解析する解析装置であって、
    学習対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した学習画像データと、当該塗装ブツを解析することにより推定された入力データとの組合せを教師データとして学習した学習済みニューラルネットワークを記憶した記憶部と、
    判定対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した判定画像データを取得する取得部と、
    前記取得部が取得した前記判定画像データを前記記憶部から読み出した前記学習済みニューラルネットワークに入力して、前記判定対象の塗装面に発生した塗装ブツの発生原因を判定する判定部と、
    前記判定部によって判定された発生原因に関する情報を出力する出力部と
    を備える解析装置。
  2. 前記学習画像データおよび前記判定画像データは、前記塗装ブツが塵埃に起因する場合は、前記塵埃が表出するまで削られた表面を撮影した画像データである請求項１に記載の解析装置。
  3. 前記判定部は、予め定められた判定基準を満たす判定を行えない場合には、前記判定対象の前記塗装層を更に削った表面を撮影した判定画像データが必要である旨の判定を行う請求項１または２に記載の解析装置。
  4. 前記記憶部は、塗装色ごとに複数の前記学習済みニューラルネットワークを記憶しており、
    前記判定部は、前記取得部が取得した前記判定画像データが示す塗装色に基づいて、前記判定画像データを入力する前記学習済みニューラルネットワークを選択する請求項１から３のいずれか１項に記載の解析装置。
  5. 前記教師データは、前記塗装層を削る前の表面を撮影した削除前学習画像データを含み、
    前記取得部は、判定対象の前記塗装層を削っていない表面を撮影した削除前判定画像データを取得し、
    前記判定部は、前記取得部が取得した前記削除前判定画像データを前記記憶部から読み出した前記学習済みニューラルネットワークに入力して、前記判定対象の塗装面に発生した塗装ブツの発生原因を判定する請求項１から４のいずれか１項に記載の解析装置。
  6. 前記取得部は、前記判定部が前記発生原因を判定できなかった場合に前記判定画像データを取得し、
    前記判定部は、前記取得部が取得した前記判定画像データを前記学習済みニューラルネットワークに入力して、前記判定対象の塗装面に発生した塗装ブツの発生原因を判定する請求項５に記載の解析装置。
  7. 塗装表面に突起として現れる塗装欠陥である塗装ブツが発生した発生原因を解析する解析プログラムであって、
    判定対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した判定画像データを取得する取得ステップと、
    学習対象の塗装面に発生した塗装ブツに対し積層された塗装層の少なくとも表層を削った表面を撮影した学習画像データと、当該塗装ブツを解析することにより推定された入力データとの組合せを教師データとして学習した学習済みニューラルネットワークを記憶部から読み出す読出しステップと、
    前記取得ステップで取得した前記判定画像データを前記記憶部から読み出した前記学習済みニューラルネットワークに入力して、前記判定対象の塗装面に発生した塗装ブツの発生原因を判定する判定ステップと、
    前記判定ステップによって判定された発生原因に関する情報を出力する出力ステップと
    をコンピュータに実行させる解析プログラム。
JP2018087114A 2018-04-27 2018-04-27 解析装置および解析プログラム Expired - Fee Related JP6996413B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018087114A JP6996413B2 (ja) 2018-04-27 2018-04-27 解析装置および解析プログラム
US16/375,194 US10533849B2 (en) 2018-04-27 2019-04-04 Analysis apparatus and analysis program
CN201910338474.XA CN110428393B (zh) 2018-04-27 2019-04-25 解析装置以及解析程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018087114A JP6996413B2 (ja) 2018-04-27 2018-04-27 解析装置および解析プログラム

Publications (2)

Publication Number Publication Date
JP2019192131A JP2019192131A (ja) 2019-10-31
JP6996413B2 true JP6996413B2 (ja) 2022-01-17

Family

ID=68291437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018087114A Expired - Fee Related JP6996413B2 (ja) 2018-04-27 2018-04-27 解析装置および解析プログラム

Country Status (3)

Country Link
US (1) US10533849B2 (ja)
JP (1) JP6996413B2 (ja)
CN (1) CN110428393B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6811881B1 (ja) 2020-01-10 2021-01-13 株式会社大気社 品質管理システムおよび品質管理プログラム
JP7217256B2 (ja) * 2020-01-10 2023-02-02 株式会社大気社 品質管理システム、品質管理方法、および品質管理プログラム
DE102020000412A1 (de) * 2020-01-24 2021-07-29 bdtronic GmbH Dosiervorrichtung sowie Verfahren zur dosierten Abgabe eines Mediums
JP7337002B2 (ja) * 2020-02-07 2023-09-01 株式会社電通 魚の品質判定システム
EP3971556A1 (en) 2020-09-17 2022-03-23 Evonik Operations GmbH Qualitative or quantitative characterization of a coating surface
JP7173188B2 (ja) 2021-02-26 2022-11-16 株式会社安川電機 塗装制御装置、塗装制御システム、塗装制御装置の設定装置、制御方法、及びプログラム
JP7255617B2 (ja) 2021-02-26 2023-04-11 株式会社安川電機 塗装制御システム
JP7669883B2 (ja) 2021-09-08 2025-04-30 トヨタ自動車株式会社 検査装置、検査方法およびプログラム
JP2023066489A (ja) * 2021-10-29 2023-05-16 株式会社安川電機 評価システム、評価方法、および評価プログラム
JP7553851B1 (ja) 2023-03-29 2024-09-19 ダイキン工業株式会社 塗装検査システム、及び塗装検査支援システム
KR102850431B1 (ko) * 2024-07-31 2025-08-27 (주)동주 인공지능 알고리즘을 이용하여 도장 제품의 불량률을 제어하는 장치 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005118757A (ja) 2003-10-20 2005-05-12 Kansai Paint Co Ltd 塗装欠陥解析システム、塗装欠陥解析方法及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3443873B2 (ja) * 1992-09-16 2003-09-08 日産自動車株式会社 自動車の塗装条件管理装置
US6532066B1 (en) * 2000-08-05 2003-03-11 Ford Global Technologies, Inc. Vision system for identification of defects in wet polymeric coatings
WO2012091093A1 (ja) * 2010-12-28 2012-07-05 参天製薬株式会社 緑内障診断チップと変形プロテオミクスクラスター解析による緑内障統合的判定方法
JP5790446B2 (ja) 2011-11-28 2015-10-07 富士通株式会社 表面欠陥検査方法及び表面欠陥検査装置
US20150035970A1 (en) * 2013-08-02 2015-02-05 Applied Vision Corporation Systems and methods to detect coating voids
JP6170860B2 (ja) * 2014-03-25 2017-07-26 株式会社日立情報通信エンジニアリング 文字認識装置及び識別関数生成方法
ES2917217T3 (es) * 2016-01-07 2022-07-07 Arkema Inc Método óptico para medir el grosor de recubrimientos depositados sobre sustratos
US10189479B2 (en) * 2016-04-06 2019-01-29 At&T Intellectual Property I, L.P. Methods and apparatus for vehicle operation analysis
CN106097335B (zh) * 2016-06-08 2019-01-25 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
JP6829575B2 (ja) * 2016-10-03 2021-02-10 グローリー株式会社 画像処理装置、画像処理システム及び画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005118757A (ja) 2003-10-20 2005-05-12 Kansai Paint Co Ltd 塗装欠陥解析システム、塗装欠陥解析方法及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAMANI, P. et al.，Automatic Paint Defect Detection and Classification of Car Body，2011 7th Iranian Conference on Machine Vision and Image Processing，IEEE，2011年，インターネット，<URL: https://ieeexplore.ieee.org/document/6121575>，[検索日 2021.11.11]

Also Published As

Publication number Publication date
JP2019192131A (ja) 2019-10-31
US20190331483A1 (en) 2019-10-31
CN110428393A (zh) 2019-11-08
CN110428393B (zh) 2022-12-13
US10533849B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
JP6996413B2 (ja) 解析装置および解析プログラム
CA2249140C (en) Method and apparatus for object detection and background removal
EP2202687A2 (en) Image quality evaluation device and method
JP7062474B2 (ja) 劣化状況識別装置、劣化状況識別方法及びプログラム
CN112150368B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113420871B (zh) 图像质量的评估方法、装置、存储介质及电子装置
CN112016630A (zh) 基于图像分类模型的训练方法、装置、设备及存储介质
CN109446016B (zh) 一种增强现实技术ar功能测试方法、装置及系统
CN111104910A (zh) 垃圾投递行为监督方法及相关产品
US20180189941A1 (en) Image registration device, image registration method, image registration system, and imaging terminal
CN114155211A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113888509B (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
JP2019075078A (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
CN113284063B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN112908324B (zh) 数据处理方法、装置、设备及系统
CN112581001B (zh) 设备的评估方法及装置、电子设备、可读存储介质
CN115035842A (zh) 一种led显示屏校正方法、系统、装置和电子设备
CN108357193A (zh) 丝印检测方法、装置、终端设备及存储介质
JP2022076750A (ja) 情報処理装置、情報処理システム、および情報処理方法
CN118262051A (zh) 桥梁施工进度识别方法、装置、设备及介质
CN113663327B (zh) 异形屏遮挡图标的检测方法、装置、设备及存储介质
CN113808107B (zh) 图像推荐方法、装置、电子设备和存储介质
CN113870210B (zh) 一种图像质量评估方法、装置、设备及存储介质
JP6815431B2 (ja) 塗装面検査装置、及びプログラム
CN114170157A (zh) Poct试纸检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R151 Written notification of patent or utility model registration

Ref document number: 6996413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees