JP7454382B2 - 誤取り付け検査支援システム - Google Patents

誤取り付け検査支援システム Download PDF

Info

Publication number
JP7454382B2
JP7454382B2 JP2020005929A JP2020005929A JP7454382B2 JP 7454382 B2 JP7454382 B2 JP 7454382B2 JP 2020005929 A JP2020005929 A JP 2020005929A JP 2020005929 A JP2020005929 A JP 2020005929A JP 7454382 B2 JP7454382 B2 JP 7454382B2
Authority
JP
Japan
Prior art keywords
image
parts
attached
support system
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020005929A
Other languages
English (en)
Other versions
JP2021114678A (ja
Inventor
洋一 佐藤
匠一郎 迫
麿介 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2020005929A priority Critical patent/JP7454382B2/ja
Priority to US17/119,478 priority patent/US11869219B2/en
Priority to EP20214054.7A priority patent/EP3852056B1/en
Publication of JP2021114678A publication Critical patent/JP2021114678A/ja
Application granted granted Critical
Publication of JP7454382B2 publication Critical patent/JP7454382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、誤取り付け検査支援システムに係り、特に航空機組み立て等における部品の誤取り付けを検知するための誤取り付け検査支援システムに関する。
航空機組み立てにおける部品の誤取り付けの有無を検知する誤取り付け検査は、現状では、目視による検査が行われている。
すなわち、作業者や検査員が、複数の部品がいずれも正しい部品であるか否かや、ある部品が他の部品に正しい態様(すなわち位置や向き、角度等)で取り付けられているか否かを目視で判定して誤取り付け検査が行われている。
しかし、航空機の部品には、形状等が非常に類似した部品が多数存在するため、目視による検査では、ある部品に対して本来取り付けられる部品ではなくそれに類似した別の部品が取り付けられているにもかかわらずそれを見逃してしまったり、あるいは、2つの類似した部品同士が取り違えて取り付けられているにもかかわらずそれを見逃してしまう等の問題が発生していた。
そのため、複数の部品が互いに取り付けられた状態をカメラで撮像し、画像処理によって部品の誤取り付け検査を行う技術の開発が進められている。
特開2011-100341号公報
しかしながら、複数の部品が互いに取り付けられた状態で照明を当てて撮像すると、一方の部品の表面上に他方の部品の影ができるが、照明の方向によって部品の影の形状が変わる。そのため、この影の影響で、画像上での部品自体の形状を的確に認識することができず、誤取り付け検査を的確に行うことができない場合がある。
そこで、例えば特許文献1には、部品を半円形状で囲むように複数の光源を配置し、複数の光源を順番に1つずつ点灯させながらカメラで撮像していき、全ての画像に対して階調処理を行うなどして部品のエッジを検出することで、影の影響を受けずにエッジを割り出す方法が開示されている。
しかし、第一部品に第二部品が正しく取り付けられているか否かを検知するためにいちいち大掛かりな撮像を行わなければならず、検査作業が大掛かりになり、ユーザにとって面倒なものになる。
本発明は、上記の点を鑑みてなされたものであり、ある部品に別の部品が取り付けられた際に別の部品の影ができる状況下で撮像された画像に基づいて、影の影響を受けることなく部品の誤取り付け検査を支援することが可能な誤取り付け検査支援システムを提供することを目的とする。
前記の問題を解決するために、請求項1に記載の発明は、誤取り付け検査支援システムにおいて、
複数の部品が互いに取り付けられた状態を撮像する撮像装置と、
撮像された画像の色空間をHSVの色空間に変換し、そのうち色相及び彩度のみに基づいて比較画像を作成し、前記比較画像と、前記複数の部品が互いに正しく取り付けられた状態を撮像した色相及び彩度のみに基づく正画像とを比較して、前記複数の部品がいずれも正しい部品であるか否か及び正しい態様で互いに取り付けられているか否かを判定し、前記複数の部品のいずれかの前記部品が正しい部品ではなく及び/又は正しい態様で互いに取り付けられていないと判定した場合に前記部品の誤取り付けを検知する誤取り付け検知装置と、
を備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載の誤取り付け検査支援システムにおいて、前記態様には、前記複数の部品の位置、向き、角度のうちの少なくとも1つが含まれることを特徴とする。
請求項3に記載の発明は、請求項2に記載の誤取り付け検査支援システムにおいて、前記複数の部品が正しい位置に取り付けられていない場合には、前記複数の部品同士の取り付け間違いが含まれることを特徴とする。
請求項4に記載の発明は、請求項1から請求項3のいずれか一項に記載の誤取り付け検査支援システムにおいて、前記部品の誤取り付けには、ある前記部品が他の前記部品に対して取り付けられていない場合が含まれることを特徴とする。
請求項5に記載の発明は、請求項1から請求項4のいずれか一項に記載の誤取り付け検査支援システムにおいて、前記誤取り付け検知装置が検知した前記部品の誤取り付けをユーザに報知する報知装置を備えることを特徴とする。
請求項6に記載の発明は、請求項5に記載の誤取り付け検査支援システムにおいて、前記報知装置は、前記比較画像を表示する表示画面を備え、前記比較画像のうち、誤取り付けが検知された前記部品を含む画像領域、又は取り付けられているはずの前記部品が取り付けられていない部分を含む画像領域をハイライト表示することを特徴とする。
請求項7に記載の発明は、請求項1から請求項6のいずれか一項に記載の誤取り付け検査支援システムにおいて、前記誤取り付け検知装置により誤取り付けが検知されなかった場合の前記比較画像を履歴として保存することを特徴とする。
請求項8に記載の発明は、請求項1から請求項7のいずれか一項に記載の誤取り付け検査支援システムにおいて、前記正画像を保存するデータベースを備えることを特徴とする。
本発明によれば、取り付けられた一方の部品の表面上に他方の部品の影ができる状況下で撮像された画像に基づいて、影の影響を受けることなく部品の誤取り付け検査を支援することが可能となる。
本実施形態に係る誤取り付け検査支援システムの構成を説明する図である。 (a)第一部品に第二部品が取り付けられた状態を表す図であり、(b)照明装置で下側から上向きに照明した場合、(c)照明装置で上側から下向きに照明した場合を表す図である。 (a)正画像の例を表す図であり、(b)比較画像の例を表す図であり誤った部品が取り付けられた場合を表す図である。 (a)正画像の例を表す図であり、(b)比較画像の例を表す図であり誤った向きで取り付けられた場合を表す図である。 (a)正画像の例を表す図であり、(b)比較画像の例を表す図であり誤った角度で取り付けられた場合を表す図である。 (a)正画像の例を表す図であり、(b)比較画像の例を表す図であり誤った位置に取り付けられた場合を表す図である。 (a)正画像の例を表す図であり、(b)比較画像の例を表す図であり部品同士を取り違えた場合を表す図である。 (a)正画像の例を表す図であり、(b)比較画像の例を表す図であり部品が取り付けられていない場合を表す図である。 表示画面上での表示例を表す図であり、誤取り付けが検知された部品を含む各画像領域がハイライト表示された状態を表す図である。 表示画面上での表示例を表す図であり、誤取り付けが検知された部品を含む各画像領域がハイライト表示された別の例を表す図である。 誤取り付けが検知されなかった場合の表示画面上の表示例を表す図である。
以下、本発明に係る誤取り付け検査支援システムの実施の形態について、図面を参照して説明する。
なお、以下においても、航空機の部品が他の部品に正しく取り付けられているか否かを検査する場合について説明するが、本発明に係る誤取り付け検査支援システムはそれに限定されず、車両や船舶等の部品の他の部品に対する誤取り付け検査等にも適用することが可能である。
図1は、本実施形態に係る誤取り付け検査支援システムの構成を説明する図である。
本実施形態では、誤取り付け検査支援システム1は、撮像装置2と、データベース3と、制御装置4と、表示装置5等を備えて構成されている。
なお、誤取り付け検査支援システム1には、図1では図示しない照明装置も設けられる場合があるが、この点については後で説明する。また、以下では、説明を分かりやすくするために、相対的に大きな部品である第一部品A1に相対的に小さな部品である第二部品A2を取り付ける場合について説明するが、互いに同等の大きさの部品同士を取り付ける場合も同様である。
撮像装置2は、複数の部品A1、A2(第一部品A1、第二部品A2)が互いに取り付けられた状態を撮像する装置であり、本実施形態では、RGBの色空間で表現されるカラーの静止画像Iを撮像するようになっている。そして、撮像装置2は、第一部品A1と第二部品A2とが互いに取り付けられた状態を撮像すると、撮像した画像Iを制御装置4に送信するようになっている。
なお、本実施形態では、第一部品A1等は図示しない治具で固定されて撮像されるようになっており、撮像装置2と第一部品A1等との位置関係は、後述する正画像I0を撮像した場合と同じ位置関係になるようになっている。
データベース3は、制御装置4に内蔵された記憶手段でもよい。また、データベース3は、制御装置4等と必ずしも直接接続されている必要はなく、例えば、通信ネットワークを介して接続されていたり、あるいはクラウド上に設けられていてもよい。
データベース3には、第一部品A1と第二部品A2とが互いに正しく取り付けられた状態を撮像した正画像I0が予め保存されている。
ここで、正画像I0について説明する。
例えば、航空機の組み立てにおいては、1機目を組み立てる際に、各部品同士の取り付け等が正しく行われているかを部品同士の取り付け箇所ごとに綿密に検査(初品検査(first article inspection:FAI))したうえで撮像される。そして、本実施形態では、この初品検査の際に撮像された画像が、第一部品A1と第二部品A2とが正しく取り付けられた状態を撮像した正となる画像すなわち正画像I0としてそれぞれデータベース3に保存されている。
なお、初品検査の際に、第一部品A1等が図示しない治具で固定された状態で正画像I0が撮像される。そして、前述したように、2機目以降に本実施形態に係る誤取り付け検査支援システム1の撮像装置2で画像Iを撮像する際も、正画像I0を撮像した際と同じ状態で第一部品A1等が図示しない治具で固定された状態で画像Iが撮像される。
すなわち、撮像装置2が、第一部品A1等や治具に対して、初品検査の際と同じ距離で同じ方向から同じ倍率で撮像される。そのため、本実施形態に係る誤取り付け検査支援システム1の撮像装置2で画像Iを撮像する際の撮像装置2と第一部品A1等との位置関係は、初品検査の際に正画像I0を撮像したときと同じ位置関係になる。
制御装置4は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータにより構成されているが、例えば専用装置等で構成されていてもよい。
本実施形態では、制御装置4が本発明の誤取り付け検知装置として機能するようになっている。以下、誤取り付け検知装置としての制御装置4の構成について説明する。
制御装置4は、上記のようにして撮像装置2で撮像された画像IのRGBの色空間をHSVの色空間に変換し、そのうち色相(H成分)及び彩度(S成分)に基づいて比較画像I1を作成する。すなわち、比較画像I1は、明度(V成分)を有していない。
そして、制御装置4は、第一部品A1と第二部品A2とが互いに正しく取り付けられた状態を撮像した正画像I0をデータベース3から読み出す。その際、正画像I0が上記のようにHSVの色空間のうち明度(V成分)を除去し色相(H成分)及び彩度(S成分)のみに基づいて作成された画像になっていない場合は、上記と同様に画像処理を行って色相及び彩度に基づく正画像I0を得る。
そして、制御装置4は、作成した比較画像I1と、色相及び彩度に基づく正画像I0とを比較して、第一部品A1と第二部品A2とが互いに正しい態様で取り付けられているか否かを判定するようになっている。すなわち、(1)第一部品A1と第二部品A2とがいずれも正しい部品であるか否かや(2)正しい態様で互いに取り付けられているか否かを判定するようになっている。
この場合、「(2)正しい態様で互いに取り付けられているか否かを判定する」ことには、正しい態様で(態様には位置や向き、角度等が含まれる。)で取り付けられているかを判定するだけでなく、第一部品A1に第二部品A2がそもそも取り付けられているか否かを判定することも含まれる。
なお、比較画像I1と正画像I0とを比較して違い(差異)があるか否かを判定する方法は公知であり、本実施形態においてもその方法を採用することができるため、説明を省略する。
そして、制御装置4は、上記のように判定処理を行い、上記の(1)、(2)すなわち(1)第一部品A1と第二部品A2とがいずれも正しい部品であり、(2)正しい態様で互いに取り付けられていることのいずれかが成立しない場合に、当該第二部品A2の誤取り付けを検知するようになっている。
表示装置5は、液晶ディスプレイや有機ELディスプレイなどで構成された表示画面51を備えている。
そして、本実施形態では、表示装置5は、誤取り付け検知装置としての制御装置4が検知した部品A1、A2の誤取り付けをユーザに報知する本発明の報知装置として機能するようになっている。なお、この点については後で説明する。
次に、誤取り付け検知装置としての制御装置4の機能について具体的に説明する。
なお、以下では、第一部品A1に対する第二部品A2の誤取り付けについて説明するが、第一部品A1の誤取り付け(すなわち第一部品A1が正しい部品ではなかったり、誤った態様で取り付けられている場合)も同様にして検知することができる。
例えば、図2(a)に示すように、第一部品A1の手前側の面に、第二部品A2が当該面から手前側に矩形状に突出する状態に取り付けられている場合、それを照明装置6で下側から上向きに照明すると、例えば図2(b)に示すように第二部品A2の上側に第二部品A2の影Sができる。
また、図2(a)の状態の第二部品A2を照明装置6で上側から下向きに照明すると、例えば図2(c)に示すように第二部品A2の下側に第二部品A2の影Sができる。
そのため、例えば、図2(b)に示した照明のしかたで第二部品A2を照明して撮像した正画像I0と、図2(c)に示した照明のしかたで第二部品A2を照明して撮像して得られた画像Iをそのまま(すなわち影Sがある状態のまま)比較すると、画像中の影Sの形状が正画像I0と今回得られた画像Iとで異なる。そのため、第二部品A2が第一部品A1に対して初品検査のときと同じように正しく取り付けられていたとしても、正しく取り付けられていないと判定されてしまう可能性がある。
また、照明装置6による照明のしかたを初品検査の際と同じ位置や角度等で照明しようとしても実現できない場合もある。
そこで、本実施形態に係る誤取り付け検査支援システム1では、画像IをHSVの色空間で表現した場合に影Sは明度(V成分)の差として現れることを利用して、撮像装置2で撮像された画像Iの色空間をRGB等の色空間からHSVの色空間に変換し、そのうち色相(H成分)及び彩度(S成分)のみに基づいて比較画像I1を作成し、比較画像I1中から明度(V成分)を除去することで、比較画像I1中から明度(V成分)の差をなくして比較画像I1中から影Sを除去する。
そのため、撮像装置2で撮像された画像I中に図2(b)、(c)のように影Sが写っていたとしても、比較画像I1は、図2(a)のように影Sが写っていない画像になる。
そのため、例えば図3(a)に示す正画像I0と図3(b)に示す今回得られた比較画像I1とを比較することで、第一部品A1に取り付けられた第二部品A2の形状が異なる場合は、影Sの影響を受けることなく形状が異なっていることを確実に検知することが可能となる。そのため、第一部品A1に対して正しい第二部品A2が正しい態様で取り付けられていないと的確に判定することが可能となる。
すなわち、この場合は、上記の(1)の場合すなわち正しい第二部品A2が取り付けられていない(誤った第二部品A2が取り付けられている)場合に相当する。なお、図示を省略するが、例えば、形状は同じでも、第二部品A2に設けられた孔の位置や大きさが異なるなど、正しい部品との間に何らかの違いがある場合は異なる部品(誤った部品)となる。
また、例えば図4(a)に示す正画像I0と図4(b)に示す今回得られた比較画像I1とを比較することで、第二部品A2は正しい部品であるが、この場合は、上記の(2)すなわち正しい態様で取り付けられていないと的確に判定することが可能となる。
すなわち、この場合は、正しい第二部品A2が正しい向きで取り付けられていない(誤った向きで取り付けられている)場合に相当する。
さらに、例えば図5(a)に示す正画像I0と図5(b)に示す今回得られた比較画像I1とを比較することで、第二部品A2は正しい部品であるが、この場合も、上記の(2)すなわち正しい態様で取り付けられていないと的確に判定することが可能となる。
すなわち、この場合は、正しい第二部品A2が正しい角度で取り付けられていない(誤った角度で取り付けられている)場合に相当する。
また、例えば図6(a)に示す正画像I0と図6(b)に示す今回得られた比較画像I1とを比較することで、第二部品A2は正しい部品であり正しい向きや角度に取り付けられているが、この場合も、上記の(2)すなわち正しい態様で取り付けられていないと的確に判定することが可能となる。
すなわち、この場合は、正しい第二部品A2が正しい位置に取り付けられていない(誤った位置に取り付けられている)場合に相当する。なお、この誤った位置への取り付けには、例えば図7(a)、(b)に示すような第二部品A2α、A2β同士の取り違え(取り付け間違い)も含まれる。
また、例えば図8(a)に示す正画像I0と図8(b)に示す今回得られた比較画像I1とを比較することで、第二部品A2が取り付けられていないと的確に判定することが可能となる(上記の(2)の場合)。
すなわち、第一部品A1に対して正しい第二部品A2が正しい態様で取り付けられていない場合には、第二部品A2がそもそも第一部品A1に対して取り付けられていない場合も含まれる。
なお、以上では、第二部品A2に誤取り付けが生じている場合について説明したが、前述したように、第一部品A1に誤取り付け(すなわち第一部品A1が正しい部品ではなかったり、誤った態様で取り付けられている場合)が生じている場合もある。
そして、本実施形態では、その場合も上記と同様にして第一部品A1の誤取り付けを検知することができる。
以上のように、本実施形態に係る誤取り付け検査支援システム1によれば、誤取り付け検知装置4は、撮像装置2が撮像した画像Iの色空間をHSVの色空間に変換し、そのうち色相(H成分)及び彩度(S成分)のみに基づいて(すなわち明度(V成分)を除去した状態で)比較画像I1を作成し、作成した比較画像I1と、複数の部品(第一部品A1、第二部品A2)が互いに正しく取り付けられた状態を撮像した色相及び彩度に基づく正画像I0とを比較して、複数の部品A1、A2がいずれも正しい部品であるか否かや正しい態様で互いに取り付けられているか否かを判定する。そして、複数の部品A1、A2のいずれかの部品が正しい部品ではなかったり正しい態様で互いに取り付けられていないと判定した場合に部品の誤取り付けを検知するように構成されている。
そのため、例えば、照明装置6で照明された際にある部品に取り付けられた別の部品の影ができる状況下で撮像された画像Iに基づいて(正確には画像Iに基づいて作成された比較画像Iに基づいて)、影の影響を受けることなく部品の誤取り付け検査を支援することが可能となる。
そのため、例えば特許文献1に記載されたような大掛かりな撮像を行わなくても、比較画像I1中から影S(明度(V成分)で表される。)を除去した状態で部品の誤取り付けを判定することが可能となり、誤取り付けがあった場合はそれを的確に検知することが可能となる。そのため、部品の誤取り付け検査を的確に支援することが可能となる。
次に、報知装置としての表示装置5の機能について具体的に説明する。
本実施形態では、前述したように、表示装置5は、制御装置4(誤取り付け検知装置)が第二部品A2の誤取り付けを検知した場合に、それをユーザに報知するようになっている。
なお、以下においても、第一部品A1に対する第二部品A2の誤取り付けについて説明するが、第一部品A1の誤取り付けがあった場合には第二部品A2の誤取り付けの場合と同様に表示される。
また、以下では、報知装置としての表示装置5の表示画面51に比較画像I1を表示して第二部品A2の誤取り付けを表示により報知する場合について説明するが、表示による報知の代わりに、あるいはそれと併行して、音声等で報知するように構成することも可能である。
本実施形態では、報知装置としての表示装置5は、表示画面51上に少なくとも比較画像I1を表示するようになっており、上記のように、制御装置4(誤取り付け検知装置)が部品の誤取り付け(この場合は第二部品A2の誤取り付け)を検知すると、比較画像I1のうち、誤取り付けが検知された第二部品A2を含む画像領域、又は取り付けられているはずの第二部品A2が取り付けられていない部分を含む画像領域をハイライト表示するようになっている。
以下、表示画面51上での表示例を示して、具体的に説明する。
この場合、表示装置5の表示画面51上に、例えば図9に例示するような表示がなされるように構成される。
この表示例では、表示画面51の上側に今回撮像された画像Iに基づいて作成された比較画像I1が「撮影画像」として表示され、表示画面51の下側にそれに対応する正画像I0が「正画像」として表示される。
そして、この場合は、正画像I0と比較画像I1とを比較して分かるように、第一部品A1に取り付けられた3つの第二部品A2γ~A2εのうち第二部品A2δ、A2ε間で部品の取り違えが生じている。そのため、本実施形態では、このような場合に、表示画面51の最上部に「誤取り付けあり」と表示してユーザに誤取り付けがあったことを明示して報知する。
また、それとともに、比較画像I1のうち、誤取り付けが検知された第二部品A2δ、A2εを含む各画像領域r1、r2を、他の画像領域とは異なる態様で表示するようにしてハイライト表示する(例えば目立つ色で着色して表示したり点滅させたりするように表示する。)。
一方、例えば図10に例示するように、第一部品A1に対して第二部品A2δの取り付け忘れが生じているような場合は、表示画面51の最上部に「誤取り付けあり」と表示してユーザに誤取り付けがあったことを明示して報知するとともに、比較画像I1のうち、取り付けられているはずの第二部品A2δが取り付けられていない部分を含む画像領域r3をハイライト表示する。
このように、表示装置5(報知装置)で、制御装置4(誤取り付け検知装置)が検知した第二部品A2の誤取り付けをユーザに報知する際に、表示画面51上に表示した比較画像I1のうち、誤取り付けが検知された第二部品A2を含む画像領域r、又は取り付けられているはずの第二部品A2が取り付けられていない部分を含む画像領域rをハイライト表示することで、第二部品A2の誤取り付け(取り付け忘れを含む。以下同じ。)があった場合に、それを作業者や検査員等のユーザに確実に知らせる(報知する)ことが可能となり、付け直し等の適切な対応を取らせることが可能となる。
そのため、後工程で付け直し等の工数を増やしてしまうことを的確に防止することが可能となるとともに、不具合流出を削減することが可能となる。
なお、本実施形態では、制御装置4(誤取り付け検知装置)により誤取り付けが検知されなかった場合には、表示装置5の表示画面51上では、例えば図11に示すように、比較画像I1上には誤取り付けを表すハイライト表示は行われず、表示画面51上に例えば「誤取り付けなし」等の表示がなされ、誤取り付けが検知されなかったことをユーザに知らせる(報知する)ようになっている。
そして、このようなハイライト表示等がなされていない比較画像I1は、制御装置4(誤取り付け検知装置)によって誤取り付けが検知されなかったことの証拠になり得る。
そこで、このように、誤取り付け検知装置(制御装置4)により誤取り付けが検知されなかった場合の比較画像I1を履歴として例えばデータベース3等に保存するように構成することが可能である。
このように構成すれば、例えば、不具合流出が発生した場合に、不具合部分に関する上記の履歴を確認することで、その履歴により、少なくとも第一部品A1への第二部品A2の取り付けの時点では誤取り付けは生じていないことを証明することが可能となる。
なお、本実施形態に係る誤取り付け検査支援システム1では、比較画像I1に基づいても、例えば第二部品A2の第一部品A1への取り付け強度が十分か否か等は分からないため、それらの検査は別途行われる。
なお、本発明が上記の実施形態等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。
1 誤取り付け検査支援システム
2 撮像装置
3 データベース
4 制御装置(誤取り付け検知装置)
5 表示装置(報知装置)
51 表示画面
A1、A2 部品
I 画像
I0 正画像
I1 比較画像
r 画像領域

Claims (8)

  1. 複数の部品が互いに取り付けられた状態を撮像する撮像装置と、
    撮像された画像の色空間をHSVの色空間に変換し、そのうち色相及び彩度のみに基づいて比較画像を作成し、前記比較画像と、前記複数の部品が互いに正しく取り付けられた状態を撮像した色相及び彩度のみに基づく正画像とを比較して、前記複数の部品がいずれも正しい部品であるか否か及び正しい態様で互いに取り付けられているか否かを判定し、前記複数の部品のいずれかの前記部品が正しい部品ではなく及び/又は正しい態様で互いに取り付けられていないと判定した場合に前記部品の誤取り付けを検知する誤取り付け検知装置と、
    を備えることを特徴とする誤取り付け検査支援システム。
  2. 前記態様には、前記複数の部品の位置、向き、角度のうちの少なくとも1つが含まれることを特徴とする請求項1に記載の誤取り付け検査支援システム。
  3. 前記複数の部品が正しい位置に取り付けられていない場合には、前記複数の部品同士の取り付け間違いが含まれることを特徴とする請求項2に記載の誤取り付け検査支援システム。
  4. 前記部品の誤取り付けには、ある前記部品が他の前記部品に対して取り付けられていない場合が含まれることを特徴とする請求項1から請求項3のいずれか一項に記載の誤取り付け検査支援システム。
  5. 前記誤取り付け検知装置が検知した前記部品の誤取り付けをユーザに報知する報知装置を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の誤取り付け検査支援システム。
  6. 前記報知装置は、前記比較画像を表示する表示画面を備え、前記比較画像のうち、誤取り付けが検知された前記部品を含む画像領域、又は取り付けられているはずの前記部品が取り付けられていない部分を含む画像領域をハイライト表示することを特徴とする請求項5に記載の誤取り付け検査支援システム。
  7. 前記誤取り付け検知装置により誤取り付けが検知されなかった場合の前記比較画像を履歴として保存することを特徴とする請求項1から請求項6のいずれか一項に記載の検査支援システム。
  8. 前記正画像を保存するデータベースを備えることを特徴とする請求項1から請求項7のいずれか一項に記載の誤取り付け検査支援システム。
JP2020005929A 2020-01-17 2020-01-17 誤取り付け検査支援システム Active JP7454382B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020005929A JP7454382B2 (ja) 2020-01-17 2020-01-17 誤取り付け検査支援システム
US17/119,478 US11869219B2 (en) 2020-01-17 2020-12-11 Inspection support system for erroneous attachment using image color conversion
EP20214054.7A EP3852056B1 (en) 2020-01-17 2020-12-15 Inspection support system for erroneous attachment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020005929A JP7454382B2 (ja) 2020-01-17 2020-01-17 誤取り付け検査支援システム

Publications (2)

Publication Number Publication Date
JP2021114678A JP2021114678A (ja) 2021-08-05
JP7454382B2 true JP7454382B2 (ja) 2024-03-22

Family

ID=73838936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020005929A Active JP7454382B2 (ja) 2020-01-17 2020-01-17 誤取り付け検査支援システム

Country Status (3)

Country Link
US (1) US11869219B2 (ja)
EP (1) EP3852056B1 (ja)
JP (1) JP7454382B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023117906A (ja) * 2022-02-14 2023-08-24 株式会社Subaru 検査装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001353341A (ja) 2000-06-15 2001-12-25 Fuji Shoji:Kk 遊技機検査装置
JP2004326382A (ja) 2003-04-24 2004-11-18 Suzuki Motor Corp 部品認識システム及び方法並びに部品認識用プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06204700A (ja) * 1992-12-28 1994-07-22 Matsushita Electric Ind Co Ltd チップ部品実装検査装置
JP2903305B2 (ja) * 1996-11-19 1999-06-07 日本マランツ株式会社 実装部品検査方法及び実装部品検査装置
KR100515798B1 (ko) * 2003-02-10 2005-09-21 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
JP4870807B2 (ja) 2009-11-06 2012-02-08 関東自動車工業株式会社 エッジ検出方法及び画像処理装置
US8351668B2 (en) * 2010-01-11 2013-01-08 Utah State University System and method for automated particle imaging analysis
KR101222678B1 (ko) * 2010-12-23 2013-01-16 경기대학교 산학협력단 약 영상 검색 방법 및 장치
SG11201401806XA (en) 2011-10-27 2014-05-29 Agency Science Tech & Res A method to identify an object and a system for doing the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001353341A (ja) 2000-06-15 2001-12-25 Fuji Shoji:Kk 遊技機検査装置
JP2004326382A (ja) 2003-04-24 2004-11-18 Suzuki Motor Corp 部品認識システム及び方法並びに部品認識用プログラム

Also Published As

Publication number Publication date
EP3852056A1 (en) 2021-07-21
EP3852056C0 (en) 2024-06-19
EP3852056B1 (en) 2024-06-19
US11869219B2 (en) 2024-01-09
US20210225036A1 (en) 2021-07-22
JP2021114678A (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
US4758782A (en) Method and apparatus for inspecting printed circuit board
KR20080080998A (ko) 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치
CN108072664B (zh) 一种外观检测系统及方法
KR102286470B1 (ko) 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템
JP7454382B2 (ja) 誤取り付け検査支援システム
JP5786622B2 (ja) 画質検査方法、画質検査装置及び画質検査プログラム
WO2022222467A1 (zh) 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
JP4910128B2 (ja) 対象物表面の欠陥検査方法
JP2006245891A (ja) カメラモジュールの画像検査用チャート、この画像検査用チャートを用いたカメラモジュールの画像検査方法および画像検査装置
JP6615835B2 (ja) 画像検査における二値化処理プログラム及び二値化処理方法
KR20070101669A (ko) 마운팅 플레이트 어셈블리의 비전 검사장치 및 검사방법
CN109712115B (zh) 一种pcb板自动检测方法及系统
KR20060130109A (ko) 기판 검사 장치
JP2013142589A (ja) 被検査体の検査装置及び検査方法
US11763445B2 (en) Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value
CN115511791A (zh) 一种液晶光栅功能检测方法及系统
KR101126759B1 (ko) 칩 마운터의 부품 정보 티칭방법
CN110288662B (zh) 显示器检测方法与系统
CN113709065A (zh) 交换机的面板灯的自动检测方法、系统、设备及存储介质
KR101383827B1 (ko) 인쇄회로기판의 솔더링 영역 자동검출 시스템 및 방법
KR100591853B1 (ko) Lcd 모듈 검사 방법 및 장치
JP2011252770A (ja) プリント基板の検査装置およびその検査方法
JPH02230381A (ja) ワーク検査装置
JP2015059875A (ja) 検査結果表示データ生成装置、検査結果表示装置、基板検査システムおよび検査結果表示データ生成方法
KR102028196B1 (ko) 영상 처리를 이용한 엘이디 모듈 검사 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7454382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150