JP7454382B2 - 誤取り付け検査支援システム - Google Patents
誤取り付け検査支援システム Download PDFInfo
- Publication number
- JP7454382B2 JP7454382B2 JP2020005929A JP2020005929A JP7454382B2 JP 7454382 B2 JP7454382 B2 JP 7454382B2 JP 2020005929 A JP2020005929 A JP 2020005929A JP 2020005929 A JP2020005929 A JP 2020005929A JP 7454382 B2 JP7454382 B2 JP 7454382B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parts
- attached
- support system
- correct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009434 installation Methods 0.000 title claims description 61
- 238000007689 inspection Methods 0.000 title claims description 46
- 238000001514 detection method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
すなわち、作業者や検査員が、複数の部品がいずれも正しい部品であるか否かや、ある部品が他の部品に正しい態様(すなわち位置や向き、角度等)で取り付けられているか否かを目視で判定して誤取り付け検査が行われている。
そのため、複数の部品が互いに取り付けられた状態をカメラで撮像し、画像処理によって部品の誤取り付け検査を行う技術の開発が進められている。
しかし、第一部品に第二部品が正しく取り付けられているか否かを検知するためにいちいち大掛かりな撮像を行わなければならず、検査作業が大掛かりになり、ユーザにとって面倒なものになる。
複数の部品が互いに取り付けられた状態を撮像する撮像装置と、
撮像された画像の色空間をHSVの色空間に変換し、そのうち色相及び彩度のみに基づいて比較画像を作成し、前記比較画像と、前記複数の部品が互いに正しく取り付けられた状態を撮像した色相及び彩度のみに基づく正画像とを比較して、前記複数の部品がいずれも正しい部品であるか否か及び正しい態様で互いに取り付けられているか否かを判定し、前記複数の部品のいずれかの前記部品が正しい部品ではなく及び/又は正しい態様で互いに取り付けられていないと判定した場合に前記部品の誤取り付けを検知する誤取り付け検知装置と、
を備えることを特徴とする。
なお、以下においても、航空機の部品が他の部品に正しく取り付けられているか否かを検査する場合について説明するが、本発明に係る誤取り付け検査支援システムはそれに限定されず、車両や船舶等の部品の他の部品に対する誤取り付け検査等にも適用することが可能である。
本実施形態では、誤取り付け検査支援システム1は、撮像装置2と、データベース3と、制御装置4と、表示装置5等を備えて構成されている。
なお、誤取り付け検査支援システム1には、図1では図示しない照明装置も設けられる場合があるが、この点については後で説明する。また、以下では、説明を分かりやすくするために、相対的に大きな部品である第一部品A1に相対的に小さな部品である第二部品A2を取り付ける場合について説明するが、互いに同等の大きさの部品同士を取り付ける場合も同様である。
なお、本実施形態では、第一部品A1等は図示しない治具で固定されて撮像されるようになっており、撮像装置2と第一部品A1等との位置関係は、後述する正画像I0を撮像した場合と同じ位置関係になるようになっている。
データベース3には、第一部品A1と第二部品A2とが互いに正しく取り付けられた状態を撮像した正画像I0が予め保存されている。
例えば、航空機の組み立てにおいては、1機目を組み立てる際に、各部品同士の取り付け等が正しく行われているかを部品同士の取り付け箇所ごとに綿密に検査(初品検査(first article inspection:FAI))したうえで撮像される。そして、本実施形態では、この初品検査の際に撮像された画像が、第一部品A1と第二部品A2とが正しく取り付けられた状態を撮像した正となる画像すなわち正画像I0としてそれぞれデータベース3に保存されている。
すなわち、撮像装置2が、第一部品A1等や治具に対して、初品検査の際と同じ距離で同じ方向から同じ倍率で撮像される。そのため、本実施形態に係る誤取り付け検査支援システム1の撮像装置2で画像Iを撮像する際の撮像装置2と第一部品A1等との位置関係は、初品検査の際に正画像I0を撮像したときと同じ位置関係になる。
本実施形態では、制御装置4が本発明の誤取り付け検知装置として機能するようになっている。以下、誤取り付け検知装置としての制御装置4の構成について説明する。
そして、制御装置4は、第一部品A1と第二部品A2とが互いに正しく取り付けられた状態を撮像した正画像I0をデータベース3から読み出す。その際、正画像I0が上記のようにHSVの色空間のうち明度(V成分)を除去し色相(H成分)及び彩度(S成分)のみに基づいて作成された画像になっていない場合は、上記と同様に画像処理を行って色相及び彩度に基づく正画像I0を得る。
この場合、「(2)正しい態様で互いに取り付けられているか否かを判定する」ことには、正しい態様で(態様には位置や向き、角度等が含まれる。)で取り付けられているかを判定するだけでなく、第一部品A1に第二部品A2がそもそも取り付けられているか否かを判定することも含まれる。
そして、制御装置4は、上記のように判定処理を行い、上記の(1)、(2)すなわち(1)第一部品A1と第二部品A2とがいずれも正しい部品であり、(2)正しい態様で互いに取り付けられていることのいずれかが成立しない場合に、当該第二部品A2の誤取り付けを検知するようになっている。
そして、本実施形態では、表示装置5は、誤取り付け検知装置としての制御装置4が検知した部品A1、A2の誤取り付けをユーザに報知する本発明の報知装置として機能するようになっている。なお、この点については後で説明する。
なお、以下では、第一部品A1に対する第二部品A2の誤取り付けについて説明するが、第一部品A1の誤取り付け(すなわち第一部品A1が正しい部品ではなかったり、誤った態様で取り付けられている場合)も同様にして検知することができる。
また、図2(a)の状態の第二部品A2を照明装置6で上側から下向きに照明すると、例えば図2(c)に示すように第二部品A2の下側に第二部品A2の影Sができる。
また、照明装置6による照明のしかたを初品検査の際と同じ位置や角度等で照明しようとしても実現できない場合もある。
そのため、撮像装置2で撮像された画像I中に図2(b)、(c)のように影Sが写っていたとしても、比較画像I1は、図2(a)のように影Sが写っていない画像になる。
すなわち、この場合は、上記の(1)の場合すなわち正しい第二部品A2が取り付けられていない(誤った第二部品A2が取り付けられている)場合に相当する。なお、図示を省略するが、例えば、形状は同じでも、第二部品A2に設けられた孔の位置や大きさが異なるなど、正しい部品との間に何らかの違いがある場合は異なる部品(誤った部品)となる。
すなわち、この場合は、正しい第二部品A2が正しい向きで取り付けられていない(誤った向きで取り付けられている)場合に相当する。
すなわち、この場合は、正しい第二部品A2が正しい角度で取り付けられていない(誤った角度で取り付けられている)場合に相当する。
すなわち、この場合は、正しい第二部品A2が正しい位置に取り付けられていない(誤った位置に取り付けられている)場合に相当する。なお、この誤った位置への取り付けには、例えば図7(a)、(b)に示すような第二部品A2α、A2β同士の取り違え(取り付け間違い)も含まれる。
すなわち、第一部品A1に対して正しい第二部品A2が正しい態様で取り付けられていない場合には、第二部品A2がそもそも第一部品A1に対して取り付けられていない場合も含まれる。
そして、本実施形態では、その場合も上記と同様にして第一部品A1の誤取り付けを検知することができる。
そのため、例えば特許文献1に記載されたような大掛かりな撮像を行わなくても、比較画像I1中から影S(明度(V成分)で表される。)を除去した状態で部品の誤取り付けを判定することが可能となり、誤取り付けがあった場合はそれを的確に検知することが可能となる。そのため、部品の誤取り付け検査を的確に支援することが可能となる。
なお、以下においても、第一部品A1に対する第二部品A2の誤取り付けについて説明するが、第一部品A1の誤取り付けがあった場合には第二部品A2の誤取り付けの場合と同様に表示される。
また、以下では、報知装置としての表示装置5の表示画面51に比較画像I1を表示して第二部品A2の誤取り付けを表示により報知する場合について説明するが、表示による報知の代わりに、あるいはそれと併行して、音声等で報知するように構成することも可能である。
以下、表示画面51上での表示例を示して、具体的に説明する。
この表示例では、表示画面51の上側に今回撮像された画像Iに基づいて作成された比較画像I1が「撮影画像」として表示され、表示画面51の下側にそれに対応する正画像I0が「正画像」として表示される。
また、それとともに、比較画像I1のうち、誤取り付けが検知された第二部品A2δ、A2εを含む各画像領域r1、r2を、他の画像領域とは異なる態様で表示するようにしてハイライト表示する(例えば目立つ色で着色して表示したり点滅させたりするように表示する。)。
そのため、後工程で付け直し等の工数を増やしてしまうことを的確に防止することが可能となるとともに、不具合流出を削減することが可能となる。
そこで、このように、誤取り付け検知装置(制御装置4)により誤取り付けが検知されなかった場合の比較画像I1を履歴として例えばデータベース3等に保存するように構成することが可能である。
なお、本実施形態に係る誤取り付け検査支援システム1では、比較画像I1に基づいても、例えば第二部品A2の第一部品A1への取り付け強度が十分か否か等は分からないため、それらの検査は別途行われる。
2 撮像装置
3 データベース
4 制御装置(誤取り付け検知装置)
5 表示装置(報知装置)
51 表示画面
A1、A2 部品
I 画像
I0 正画像
I1 比較画像
r 画像領域
Claims (8)
- 複数の部品が互いに取り付けられた状態を撮像する撮像装置と、
撮像された画像の色空間をHSVの色空間に変換し、そのうち色相及び彩度のみに基づいて比較画像を作成し、前記比較画像と、前記複数の部品が互いに正しく取り付けられた状態を撮像した色相及び彩度のみに基づく正画像とを比較して、前記複数の部品がいずれも正しい部品であるか否か及び正しい態様で互いに取り付けられているか否かを判定し、前記複数の部品のいずれかの前記部品が正しい部品ではなく及び/又は正しい態様で互いに取り付けられていないと判定した場合に前記部品の誤取り付けを検知する誤取り付け検知装置と、
を備えることを特徴とする誤取り付け検査支援システム。 - 前記態様には、前記複数の部品の位置、向き、角度のうちの少なくとも1つが含まれることを特徴とする請求項1に記載の誤取り付け検査支援システム。
- 前記複数の部品が正しい位置に取り付けられていない場合には、前記複数の部品同士の取り付け間違いが含まれることを特徴とする請求項2に記載の誤取り付け検査支援システム。
- 前記部品の誤取り付けには、ある前記部品が他の前記部品に対して取り付けられていない場合が含まれることを特徴とする請求項1から請求項3のいずれか一項に記載の誤取り付け検査支援システム。
- 前記誤取り付け検知装置が検知した前記部品の誤取り付けをユーザに報知する報知装置を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の誤取り付け検査支援システム。
- 前記報知装置は、前記比較画像を表示する表示画面を備え、前記比較画像のうち、誤取り付けが検知された前記部品を含む画像領域、又は取り付けられているはずの前記部品が取り付けられていない部分を含む画像領域をハイライト表示することを特徴とする請求項5に記載の誤取り付け検査支援システム。
- 前記誤取り付け検知装置により誤取り付けが検知されなかった場合の前記比較画像を履歴として保存することを特徴とする請求項1から請求項6のいずれか一項に記載の検査支援システム。
- 前記正画像を保存するデータベースを備えることを特徴とする請求項1から請求項7のいずれか一項に記載の誤取り付け検査支援システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020005929A JP7454382B2 (ja) | 2020-01-17 | 2020-01-17 | 誤取り付け検査支援システム |
US17/119,478 US11869219B2 (en) | 2020-01-17 | 2020-12-11 | Inspection support system for erroneous attachment using image color conversion |
EP20214054.7A EP3852056B1 (en) | 2020-01-17 | 2020-12-15 | Inspection support system for erroneous attachment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020005929A JP7454382B2 (ja) | 2020-01-17 | 2020-01-17 | 誤取り付け検査支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021114678A JP2021114678A (ja) | 2021-08-05 |
JP7454382B2 true JP7454382B2 (ja) | 2024-03-22 |
Family
ID=73838936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005929A Active JP7454382B2 (ja) | 2020-01-17 | 2020-01-17 | 誤取り付け検査支援システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11869219B2 (ja) |
EP (1) | EP3852056B1 (ja) |
JP (1) | JP7454382B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023117906A (ja) * | 2022-02-14 | 2023-08-24 | 株式会社Subaru | 検査装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001353341A (ja) | 2000-06-15 | 2001-12-25 | Fuji Shoji:Kk | 遊技機検査装置 |
JP2004326382A (ja) | 2003-04-24 | 2004-11-18 | Suzuki Motor Corp | 部品認識システム及び方法並びに部品認識用プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06204700A (ja) * | 1992-12-28 | 1994-07-22 | Matsushita Electric Ind Co Ltd | チップ部品実装検査装置 |
JP2903305B2 (ja) * | 1996-11-19 | 1999-06-07 | 日本マランツ株式会社 | 実装部品検査方法及び実装部品検査装置 |
KR100515798B1 (ko) * | 2003-02-10 | 2005-09-21 | 한국과학기술원 | 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 |
JP4870807B2 (ja) | 2009-11-06 | 2012-02-08 | 関東自動車工業株式会社 | エッジ検出方法及び画像処理装置 |
US8351668B2 (en) * | 2010-01-11 | 2013-01-08 | Utah State University | System and method for automated particle imaging analysis |
KR101222678B1 (ko) * | 2010-12-23 | 2013-01-16 | 경기대학교 산학협력단 | 약 영상 검색 방법 및 장치 |
SG11201401806XA (en) | 2011-10-27 | 2014-05-29 | Agency Science Tech & Res | A method to identify an object and a system for doing the same |
-
2020
- 2020-01-17 JP JP2020005929A patent/JP7454382B2/ja active Active
- 2020-12-11 US US17/119,478 patent/US11869219B2/en active Active
- 2020-12-15 EP EP20214054.7A patent/EP3852056B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001353341A (ja) | 2000-06-15 | 2001-12-25 | Fuji Shoji:Kk | 遊技機検査装置 |
JP2004326382A (ja) | 2003-04-24 | 2004-11-18 | Suzuki Motor Corp | 部品認識システム及び方法並びに部品認識用プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3852056A1 (en) | 2021-07-21 |
EP3852056C0 (en) | 2024-06-19 |
EP3852056B1 (en) | 2024-06-19 |
US11869219B2 (en) | 2024-01-09 |
US20210225036A1 (en) | 2021-07-22 |
JP2021114678A (ja) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4758782A (en) | Method and apparatus for inspecting printed circuit board | |
KR20080080998A (ko) | 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치 | |
CN108072664B (zh) | 一种外观检测系统及方法 | |
KR102286470B1 (ko) | 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템 | |
JP7454382B2 (ja) | 誤取り付け検査支援システム | |
JP5786622B2 (ja) | 画質検査方法、画質検査装置及び画質検査プログラム | |
WO2022222467A1 (zh) | 开口圆环工件外观缺陷检测方法、系统及计算机存储介质 | |
JP4910128B2 (ja) | 対象物表面の欠陥検査方法 | |
JP2006245891A (ja) | カメラモジュールの画像検査用チャート、この画像検査用チャートを用いたカメラモジュールの画像検査方法および画像検査装置 | |
JP6615835B2 (ja) | 画像検査における二値化処理プログラム及び二値化処理方法 | |
KR20070101669A (ko) | 마운팅 플레이트 어셈블리의 비전 검사장치 및 검사방법 | |
CN109712115B (zh) | 一种pcb板自动检测方法及系统 | |
KR20060130109A (ko) | 기판 검사 장치 | |
JP2013142589A (ja) | 被検査体の検査装置及び検査方法 | |
US11763445B2 (en) | Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value | |
CN115511791A (zh) | 一种液晶光栅功能检测方法及系统 | |
KR101126759B1 (ko) | 칩 마운터의 부품 정보 티칭방법 | |
CN110288662B (zh) | 显示器检测方法与系统 | |
CN113709065A (zh) | 交换机的面板灯的自动检测方法、系统、设备及存储介质 | |
KR101383827B1 (ko) | 인쇄회로기판의 솔더링 영역 자동검출 시스템 및 방법 | |
KR100591853B1 (ko) | Lcd 모듈 검사 방법 및 장치 | |
JP2011252770A (ja) | プリント基板の検査装置およびその検査方法 | |
JPH02230381A (ja) | ワーク検査装置 | |
JP2015059875A (ja) | 検査結果表示データ生成装置、検査結果表示装置、基板検査システムおよび検査結果表示データ生成方法 | |
KR102028196B1 (ko) | 영상 처리를 이용한 엘이디 모듈 검사 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7454382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |