KR101641099B1 - vision inspection device for a harness - Google Patents

vision inspection device for a harness Download PDF

Info

Publication number
KR101641099B1
KR101641099B1 KR1020150028213A KR20150028213A KR101641099B1 KR 101641099 B1 KR101641099 B1 KR 101641099B1 KR 1020150028213 A KR1020150028213 A KR 1020150028213A KR 20150028213 A KR20150028213 A KR 20150028213A KR 101641099 B1 KR101641099 B1 KR 101641099B1
Authority
KR
South Korea
Prior art keywords
harness
terminal portion
terminal
identification
vision
Prior art date
Application number
KR1020150028213A
Other languages
Korean (ko)
Inventor
조호상
이상용
Original Assignee
아몽솔루션(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아몽솔루션(주) filed Critical 아몽솔루션(주)
Priority to KR1020150028213A priority Critical patent/KR101641099B1/en
Application granted granted Critical
Publication of KR101641099B1 publication Critical patent/KR101641099B1/en

Links

Images

Classifications

    • G01R31/02—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges

Abstract

The purpose of the present invention is to precisely inspect whether a harness, composed of black and white lines, is defective. Provided is a vision inspection device for a harness, comprising: a base frame having a table provided to an upper surface; a seating unit provided on an upper surface of the table, which constitutes the base frame, allowing a harness, which is an object to be inspected, to be seated in the seating unit, and having a plurality of identification lines to identify each cable, which constitutes the harness; a vision camera arranged in the direct upper direction of the seating unit to photograph an image of the harness seated in the seating unit; and a controller inspecting whether the harness is defective based on the image photographed by the vision camera.

Description

하네스용 비전 검사장치{vision inspection device for a harness}A vision inspection device for a harness

본 발명은 비전 검사장치에 관련된 것으로서, 특히 흑색 및 백색의 선으로 이루어진 하네스의 불량 여부를 정확히 검사할 수 있도록 한 새로운 형태에 따른 하네스용 비전 검사장치에 관한 것이다.The present invention relates to a vision inspection apparatus, and more particularly, to a vision inspection apparatus for a harness according to a new type that can accurately check whether a harness made of black and white lines is defective or not.

일반적으로, 하네스(harness)는 차량이나 대형 장비 등과 같은 다양한 기기에 적용되면서 각종 신호의 전달이나 전원의 전달 등을 위한 용도로 사용되는 부품이다.In general, a harness is a part used for transmission of various signals and power supply while being applied to various devices such as a vehicle or a large-sized equipment.

이와 같은 하네스는 상대 부품에의 연결을 위한 단자부 및 상기 단자부에 연결되는 복수의 전선을 포함하여 이루어지는데, 이러한 각 전선의 경우는 결선 오류를 방지할 수 있도록 다양한 색상으로 표현되고 있다.The harness includes a terminal portion for connection to a counterpart and a plurality of wires connected to the terminal portion. In the case of each of the wires, the harness is expressed in various colors so as to prevent a connection error.

그러나, 상기 하네스의 각 전선은 그의 잘못된 연결이 이루어지게 될 경우 전자 제품의 동작 오류나 손상을 야기하기 때문에 출하전 불량 검사를 수행하여야만 한다.However, since each wire of the harness causes an operation error or damage of the electronic product when the connection is made incorrectly, it is necessary to perform a defect inspection before shipment.

이와 같은 하네스의 불량 검사 중 결선 오류에 대한 검사의 경우는 통상 수작업으로 진행되었으나, 이러한 수작업의 경우 대량의 하네스 불량 검사를 수행하는 도중 작업자의 착시 현상이나 부주의 등에 의한 오검사의 발생 우려가 존재하였다.In the case of such a harness defect inspection, the inspection of the wiring error has usually been carried out by hand, but in the case of such a manual operation, there is a fear of occurrence of an error inspection due to an operator's optical illusion or carelessness during a large harness defect inspection .

이로써 최근에는 하네스용 비전 검사장치를 이용하여 다양한 종류의 하네스에 대한 비전 검사를 통해 전선의 역삽 여부, 핀의 미삽 여부 및 하우징의 역삽 검사 등을 수행하여 자동으로 양품과 불량품을 분류해 낼 수 있도록 하고 있으며, 이에 관련하여는 등록특허 제10-515242호, 제10-515252호, 등록특허 제10-723967호 등에 개시된 바와 같다.In recent years, vision inspection for harnesses has been used to visually inspect various types of harnesses to check whether the wires are reversed, whether the pins are inserted or not, and whether the defective product is automatically sorted by inspecting the housing. And in this connection, it is as disclosed in Japanese Patent Application Nos. 10-515242, 10-515252, and 10-723967.

하지만, 상기 하네스용 비전 검사장치는 흑색선 및 백색선으로 이루어진 하네스의 불량 검사시 색상 구분의 오류가 자주 발생되었던 문제점이 있었을 뿐만 아니라 빈 홀(hole) 부위에 대한 파악이 정확히 이루어지지 못함에 따른 검사 불량이 발생되었던 문제점이 있었다.However, the above-mentioned vision inspection apparatus for a harness has a problem that a color classification error is frequently occurred when a harness made of a black line and a white line is inspected for defects, and a hole is not accurately grasped There was a problem that inspection failure occurred.

즉, 비전 검사를 위한 하네스의 촬영시 그의 배경이 되는 부위가 백색 혹은, 흑색으로 이루어지거나 혹은, 백색과 흑색의 확인에 혼돈을 줄 우려가 있는 색상으로 이루어짐을 고려할 때 판독 불량 현상이 발생될 수밖에 없고, 이로써 불량 검출의 오류가 야기될 수 밖에 없었던 것이다.That is, when the harness for vision inspection is photographed, the background portion of the harness is made of white, black, or a color which may confuse the confirmation of white and black. There was no such thing, and this led to errors in detection of defects.

본 발명은 전술된 종래 기술에 따른 각종 문제점을 해결하기 위해 안출된 것으로써, 본 발명의 목적은 흑색 및 백색의 선으로 이루어진 하네스의 불량 여부를 정확히 검사할 수 있도록 한 새로운 형태에 따른 하네스용 비전 검사장치를 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve various problems of the prior art described above, and it is an object of the present invention to provide a vision for a harness according to a new form which can accurately check whether a harness made of black and white lines is defective And an inspection apparatus.

상기한 목적을 달성하기 위한 본 발명의 하네스용 비전 검사장치는 커넥터 혹은, 터미널 중 어느 하나로 이루어진 단자부와 이 단자부에 연결되는 복수의 전선으로 이루어진 하네스의 불량 검사를 위한 장치에 있어서, 상면으로 테이블이 구비되어 이루어진 베이스프레임; 상기 베이스프레임을 이루는 테이블의 상면에 구비되면서 검사 대상 하네스가 안착됨과 더불어 하네스를 이루는 각 전선들의 식별을 위한 복수의 식별라인이 형성되어 이루어진 안착부; 상기 안착부의 직상방에 위치되면서 상기 안착부에 안착된 하네스의 영상 촬영을 위한 비전카메라; 상기 비전카메라에 의해 촬영된 영상을 토대로 불량 여부를 검사하는 컨트롤러;를 포함하여 이루어짐을 특징으로 한다.In order to accomplish the above object, according to the present invention, there is provided an apparatus for inspecting defects of a harness comprising a terminal portion made of a connector or a terminal and a plurality of wires connected to the terminal portion, A base frame; A seating part provided on an upper surface of the table constituting the base frame and having a plurality of identification lines for identifying harnesses for harness, A vision camera for capturing an image of a harness positioned in the seating portion while being positioned in an upper right room of the seating portion; And a controller for checking whether there is a defect based on the image photographed by the vision camera.

또한, 상기 안착부는 테이블의 상면에 고정되면서 평판형으로 이루어짐과 더불어 상면에는 복수의 식별라인이 프린팅되어 이루어진 검사판과, 상기 검사판의 상면에 고정 설치되면서 전면으로는 상기 하네스의 단자부가 수용되는 수용홈이 요입 형성되어 이루어진 수용블럭을 포함하여 구성됨을 특징으로 한다.In addition, the seat portion is fixed on the upper surface of the table and is formed in a flat plate shape. In addition, a plurality of identification lines are printed on the upper surface of the table, and a terminal portion of the harness is fixed to the upper surface of the test plate. And a receiving block formed by recessing the receiving groove.

또한, 상기 검사판의 상면에 프린팅되는 복수의 식별라인은 흑색의 식별라인 및 백색의 식별라인으로 이루어지면서 상기 하네스의 각 전선들을 가로지르는 방향으로 형성됨과 더불어 상기 각 전선들의 길이 방향을 따라 흑색의 식별라인과 백색의 식별라인이 반복하면서 서로 평행하게 프린팅되도록 이루어짐을 특징으로 한다.The plurality of identification lines printed on the upper surface of the inspecting plate may include black identification lines and white identification lines. The plurality of identification lines may be formed in a direction crossing the respective wires of the harness, The identification line and the white identification line are repeatedly printed in parallel with each other.

이와 함께, 상기 검사판의 상면 색상은 백색으로 형성되고, 상기 각 식별라인 중 흑색의 식별라인이 검사판에 얹히는 하네스의 단자부에 가장 인접하게 위치되도록 프린팅됨을 특징으로 한다.In addition, the color of the upper surface of the inspection plate is formed in white, and the black identification line of each identification line is printed so as to be positioned closest to the terminal portion of the harness mounted on the inspection plate.

또한, 상기 안착부를 이루는 수용블럭은 검사판의 상면에 얹혀 결합 고정되는 베이스블럭과, 상기 베이스블럭의 상면에 얹혀 결합 고정되는 교체블럭을 포함하여 이루어지며, 상기 교체블럭의 저면에는 장착홈이 요입 형성됨과 더불어 상기 장착홈에는 하네스를 이루는 단자부 중 커넥터로 이루어진 단자부가 결합되는 장착커넥터가 압입 고정됨을 특징으로 한다.The receiving block constituting the seating part includes a base block mounted on the upper surface of the inspection plate and fixed to the upper surface of the base block, and a replacement block mounted on the upper surface of the base block and fixed to the upper surface of the base block. And a mounting connector, to which a terminal portion formed of a connector of the terminal portion constituting the harness is coupled, is press-fitted into the mounting groove.

이상에서와 같은 본 발명에 따른 하네스용 비전 검사장치는 흑색 및 백색의 전선들로 이루어진 하네스라 하더라도 그의 존재 유무에 대한 오류 발생이 방지됨으로써 각 전선의 존재 유무 및 위치 불량을 정확히 판단할 수 있게 된 효과를 가진다.As described above, according to the vision inspection apparatus for a harness according to the present invention, even if a harness composed of black and white wires is prevented from being erroneously present or absent, existence / Effect.

도 1은 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치가 검사할 하네스의 구조를 소개하기 위해 개략화하여 나타낸 상태도
도 2는 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치의 정면도
도 3은 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치의 측면도
도 4는 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치 중 안착부를 설명하기 위해 나타낸 평면도
도 5는 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치의 안착부 중 수용블럭의 구조를 설명하기 위해 나타낸 상태도
도 6은 본 발명의 다른 형태에 따른 하네스용 비전 검사장치의 안착부를 설명하기 위해 나타낸 평면도
도 7은 본 발명의 다른 형태에 따른 하네스용 비전 검사장치의 안착부 중 수용블럭의 구조를 설명하기 위해 나타낸 상태도
도 8은 본 발명의 또 다른 형태에 따른 하네스용 비전 검사장치의 안착부를 설명하기 위해 나타낸 평면도
도 9는 도 4의 “A”부 확대도
도 10은 단자부의 영역 검출을 위한 컨트롤러의 제어 과정에 대한 예시를 설명하기 위해 나타낸 순서도
도 11은 빈홀의 검사를 위한 컨트롤러의 제어 과정에 대한 예시를 설명하기 위해 나타낸 순서도FIG. 1 is a state diagram schematically showing a structure of a harness to be inspected by a vision inspection apparatus for a harness according to a preferred embodiment of the present invention
2 is a front view of a vision inspection apparatus for a harness according to a preferred embodiment of the present invention.
3 is a side view of a vision inspection apparatus for a harness according to a preferred embodiment of the present invention
4 is a plan view for explaining a seat part of a vision inspection apparatus for a harness according to a preferred embodiment of the present invention;
5 is a state diagram illustrating a structure of a receiving block in a seat portion of a vision inspection apparatus for a harness according to a preferred embodiment of the present invention.
6 is a plan view for explaining a seating portion of a vision inspection apparatus for a harness according to another embodiment of the present invention.
7 is a state diagram illustrating a structure of a receiving block in a seat portion of a vision inspection apparatus for a harness according to another embodiment of the present invention.
8 is a plan view for explaining a seating portion of a vision inspection apparatus for a harness according to another embodiment of the present invention.
Fig. 9 is an enlarged view of the " A &
10 is a flowchart showing an example of a control process of the controller for detecting the region of the terminal portion
11 is a flowchart showing an example of a control process of the controller for inspecting empty holes

이하, 본 발명의 하네스용 비전 검사장치에 대한 바람직한 실시예를 첨부된 도 1 내지 도 11을 참조하여 설명하도록 한다.Hereinafter, preferred embodiments of a vision inspection apparatus for a harness according to the present invention will be described with reference to FIGS. 1 to 11.

실시예의 설명에 앞서, 본 발명의 하네스용 비전 검사장치는 첨부된 도 1과 같은 커넥터 혹은, 터미널 중 어느 하나로 이루어진 단자부(11) 및 상기 단자부(11)에 연결되는 복수의 전선(12,13)으로 이루어진 하네스(10)의 불량 여부에 대한 확인을 비전 검사로 수행하는 장치임을 그 예로 한다.Prior to the description of the embodiment, the vision inspection apparatus for a harness according to the present invention includes a terminal portion 11 made of a connector or a terminal as shown in FIG. 1 and a plurality of electric wires 12 and 13 connected to the terminal portion 11, As an example of a device for performing a vision check to confirm whether or not the harness 10 is defective.

첨부된 도 2는 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치의 정면도이고, 도 3은 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치의 측면도이며, 도 4는 본 발명의 바람직한 실시예에 따른 하네스용 비전 검사장치 중 안착부를 설명하기 위해 나타낸 평면도이다.FIG. 2 is a front view of a vision inspection apparatus for a harness according to a preferred embodiment of the present invention, FIG. 3 is a side view of a vision inspection apparatus for a harness according to a preferred embodiment of the present invention, FIG. Fig. 7 is a plan view for explaining a seating part of a vision inspection apparatus for a harness according to an example. Fig.

이들 도면에 도시된 바와 같이 본 발명의 실시예에 따른 하네스용 비전 검사장치는 크게 베이스프레임(100)과, 안착부(200)와, 비전카메라(300) 및 컨트롤러(400)를 포함하여 이루어짐을 제시하며, 특히 상기 안착부(200)는 비전카메라(300)에 의해 촬영된 영상을 분석하는 도중 하네스(10)의 각 전선(12,13)들에 대한 위치 혼돈 및 존재 유무에 대한 혼돈을 방지하는 복수의 식별라인(213,214)이 더 형성되어 이루어짐을 특징으로 제시한다.As shown in these drawings, a vision inspection apparatus for a harness according to an embodiment of the present invention includes a base frame 100, a seating unit 200, a vision camera 300, and a controller 400 In particular, the seating part 200 prevents chaos or confusion about presence or absence of presence of each wire 12, 13 of the harness 10 during analysis of the image photographed by the vision camera 300 A plurality of identification lines 213 and 214 are formed.

이를 각 구성별로 더욱 상세히 설명하면 다음과 같다.This will be described in more detail below for each configuration.

먼저, 상기 베이스프레임(100)은 본 발명의 실시예에 따른 하네스용 비전 검사장치의 외관 몸체를 형성하는 부위이다.First, the base frame 100 is a portion for forming an outer appearance body of the vision inspection apparatus for a harness according to an embodiment of the present invention.

이와 같은 베이스프레임(100)의 상면으로는 평판형의 테이블(110)이 구비되며, 이러한 테이블(110) 상에 후술될 안착부(200)가 설치되도록 이루어진다.A table 110 is provided on the upper surface of the base frame 100 and a seat 200 to be described later is installed on the table 110.

다음으로, 상기 안착부(200)는 검사 대상 하네스(10)가 안착되면서 상기 하네스(10)에 대한 검사 수행시 하네스(10)의 단자부(11)가 고정된 상태를 유지하도록 지지하는 부위이며, 상기 베이스프레임(100)을 이루는 테이블(110)의 상면에 구비된다.The mounting part 200 is a part for supporting the terminal part 11 of the harness 10 so that the terminal part 11 of the harness 10 is kept fixed when the inspection object harness 10 is mounted and the inspection of the harness 10 is performed, And is provided on the upper surface of the table 110 constituting the base frame 100.

이와 같은 안착부(200)는 검사 대상 하네스(10)가 안착되는 부위를 형성하면서도 상기 하네스(10)의 식별을 위한 검사판(210) 및 상기 하네스(10)를 이루는 단자부의 장착을 위한 수용블럭(220)을 포함하여 이루어지며, 상기 베이스프레임(100)의 테이블(110) 상면에 고정 설치된다.The seating part 200 may include a checking plate 210 for identifying the harness 10 and a receiving block for mounting the terminal part constituting the harness 10, And is fixed to the upper surface of the table 110 of the base frame 100.

여기서, 상기 검사판(210)은 후방측 부위를 이루는 단자부 안착영역(211) 및 전방측 부위를 이루는 전선 안착영역(212)을 갖는 평판형으로 이루어진다. 이때, 상기 단자부 안착영역(211)은 헤네스(10)를 이루는 단자부(11)가 위치되는 부위이고, 상기 전선 안착영역(212)은 상기 단자부 안착영역(211)의 전방에 위치되면서 헤네스(10)를 이루는 각 전선(12,13)이 위치되는 부위이다.Here, the inspection plate 210 is of a flat plate type having a terminal part seating area 211 forming a rear side part and a wire seating area 212 forming a front side part. At this time, the terminal seating area 211 is a part where the terminal part 11 constituting the hinge 10 is positioned. The wire seating area 212 is located in front of the terminal seating area 211, 10 are located.

이와 함께, 상기 검사판(210)의 전선 안착영역(212)에는 복수의 식별라인(213,214)이 프린팅되어 이루어진다. 이때, 상기 검사판(210)의 상면에 프린팅되는 복수의 식별라인(213,214)은 흑색(黑色)의 식별라인(213) 및 백색(白色)의 식별라인(214)으로 이루어지면서 상기 하네스(10)의 각 전선(12,13)들을 가로지르는 방향으로 형성된다.In addition, a plurality of identification lines 213 and 214 are printed in the wire seating area 212 of the inspection plate 210. The plurality of identification lines 213 and 214 printed on the upper surface of the inspection plate 210 are composed of a black identification line 213 and a white identification line 214, In the direction crossing each of the wires 12,

특히, 본 발명의 실시예에서는 상기 각 전선(12,13)들의 길이 방향을 따라 흑색의 식별라인(213)과 백색의 식별라인(214)이 반복하면서 서로 평행하게 프린팅되도록 이루어짐을 제시한다. 이러한 구조는 흑색의 식별라인(213) 혹은, 백색의 식별라인(214) 중 어느 한 색상의 식별라인(213,214)으로만 프린팅될 경우 하네스(10)를 이루는 흑색으로 이루어진 전선(12) 및 백색으로 이루어진 전선(13)에 대하여는 그의 식별에 따른 판단 오류가 발생될 우려가 있을 뿐만 아니라 각 전선(12,13)의 특성상 길이 방향으로 곧게만 형성되는 것이 아니라 좌 혹은, 우로의 휘어진 경우가 있다는 것을 고려할 때 이러한 휜 상태의 전선(12,13)들에 대한 정위치 여부 및 누락 여부에 대한 판단 오류가 발생될 우려가 있기 때문에 전술된 흑색 및 백색의 식별라인(213,214)이 반복하면서 서로 평행하게 프린팅함으로써 전술된 각 판단 오류가 방지될 수 있도록 한 것이다.Particularly, in the embodiment of the present invention, the black identification line 213 and the white identification line 214 are repeatedly printed in parallel with each other along the longitudinal direction of the electric wires 12 and 13. When this structure is printed only on identification lines 213 and 214 of either the black identification line 213 or the white identification line 214, the black wire 12 and the white wire forming the harness 10 There is a possibility that a judgment error due to the identification thereof may be generated for the electric wire 13 which has been formed and that the electric wires 12 and 13 are not only formed straightly in the longitudinal direction but may be curled leftward or rightward Since there is a possibility that a judgment error is made as to whether or not the wire 12, 13 in the warped state is correctly positioned or not, there is a possibility that the black and white identification lines 213, 214 described above are repeatedly printed parallel to each other So that each judgment error described above can be prevented.

더욱이, 본 발명의 실시예에서는 상기 검사판(210)의 상면 색상은 백색으로 형성됨을 추가로 제시한다. 이는 하네스(10)를 이루는 단자부(11) 중 터미널 구조로 이루어진 단자부(11)의 경우는 흑색으로 이루어짐을 고려할 때 해당 단자부(터미널)에 대한 영역의 식별이 더욱 용이하게 이루어질 수 있도록 하기 위함이다.Further, in the embodiment of the present invention, it is further shown that the color of the upper surface of the inspection plate 210 is formed in white. This is because, in the case of the terminal portion 11 having the terminal structure among the terminal portions 11 constituting the harness 10, it is possible to more easily identify the region with respect to the terminal portion (terminal), considering that the terminal portion 11 is made of black.

이와 더불어 상기 각 식별라인(213,214) 중 어느 한 흑색의 식별라인(213)은 전선 안착영역(212) 중 검사판(210)에 얹히는 하네스(10)의 단자부(11)에 가장 인접하게 위치되도록 프린팅됨이 바람직하다. 이는 하네스(10)의 단자부(11)로부터 인출되는 각 전선(12,13)들이 전술된 언급에서와 같이 휜 구조를 이룰 수 있다는 것을 고려할 때 단자부(11)에 가장 인접한 영역에 흑색의 식별라인(213)을 형성함으로써 이 단자부(11)로부터 인출되는 전선(12,13)들의 위치를 더욱 정확히 파악될 수 있도록 하여 빈 홀(hole)에 대한 판단이 정확히 이루어질 수 있도록 한 것이다. 이때 상기 빈 홀이란 단자부(11)의 각 부위 중 어떠한 전선(12,13)도 연결되지 않고 비어진 홀(hole) 부위를 의미한다.The black identification line 213 of each of the identification lines 213 and 214 is positioned so as to be positioned closest to the terminal portion 11 of the harness 10 mounted on the inspection plate 210 in the wire seating area 212 Printing is preferable. This is because when considering that each of the electric wires 12 and 13 drawn out from the terminal portion 11 of the harness 10 can form a warped structure as mentioned above, 213 are formed so that the position of the electric wires 12, 13 drawn out from the terminal portion 11 can be grasped more accurately, so that the determination of the empty hole can be accurately made. In this case, the empty hole means a portion of a hole that is not connected to any of the electric wires 12 and 13 of the respective portions of the terminal portion 11. [

그리고, 상기 수용블럭(220)은 상기 검사판(210)의 상면 중 단자부 안착영역(211)에 고정 설치되면서 전면으로는 상기 하네스(10)의 단자부(11)가 수용되는 수용홈(221)이 요입 형성되어 이루어진다.The receiving block 220 is fixed to the terminal seating area 211 of the upper surface of the inspection plate 210 and has a receiving groove 221 in which the terminal portion 11 of the harness 10 is received. Lt; / RTI >

특히, 상기한 수용블럭(220)은 하네스(10)를 이루는 단자부(11)의 종류에 따라 복수로 제공되면서 상기 검사판(210)의 상면에 교체 가능하게 설치됨이 바람직하다. 즉, 검사하고자 하는 하네스(10)의 단자부(11)는 터미널 구조와 커넥터 구조가 있음을 고려할 때 이러한 두 구조의 단자부(11)에 따라 수용블럭(220)의 수용홈(221) 형상이 달리 형성되어야 하며, 이로써 상기 수용홈(221) 형상이 서로 달리 형성된 복수의 수용블럭(220)을 준비한 상태에서 검사하고자 하는 하네스(10)의 유형에 따라 상기 각 수용블럭(220) 중 해당 하네스(10)의 유형에 대응되는 수용블럭(220)을 선택하여 상기 검사판(210)의 상면에 교체 설치할 수 있도록 한 것이다.In particular, the receiving block 220 may be provided on the upper surface of the test plate 210 in a plurality of ways depending on the type of the terminal portion 11 constituting the harness 10. That is, considering the terminal structure and the connector structure of the terminal portion 11 of the harness 10 to be inspected, the shape of the receiving groove 221 of the receiving block 220 varies according to the terminal portions 11 of the two structures A plurality of receiving blocks 220 formed in a shape different from that of the receiving grooves 221 are prepared and the corresponding harnesses 10 of the receiving blocks 220 are formed in accordance with the type of the harness 10 to be inspected. The receiving block 220 can be selected and installed on the upper surface of the inspection plate 210.

이와 같은 수용블럭(220)의 구조에 대하여는 첨부된 도 3 내지 도 7에 도시된 바와 같다. 첨부된 도 4 및 도 5의 수용블럭(220)은 하네스(10)의 단자부(11)가 수커넥터일 경우를 나타내고 있고, 첨부된 도 6 및 도 7의 수용블럭(220)은 하네스(10)의 단자부(11)가 암커넥터일 경우를 나타내고 있으며, 첨부된 도 8의 수용블럭(220)은 하네스(10)의 단자부(11)가 터미널 구조인 경우를 나타내고 있다.The structure of the receiving block 220 is as shown in FIGS. 3 to 7. 4 and 5 show a case where the terminal portion 11 of the harness 10 is a male connector and the receiving block 220 of FIGS. 6 and 7 is connected to the harness 10, The terminal block 11 of the harness 10 is a female connector and the receiving block 220 of FIG. 8 is a terminal structure of the terminal portion 11 of the harness 10.

한편, 전술된 각 도면들의 수용블럭(220) 중 하네스(10)를 이루는 단자부(11)가 커넥터 구조일 경우에는 해당 수용블럭(220)이 검사판(210)의 상면에 얹혀 결합 고정되는 베이스블럭(222)과, 상기 베이스블럭(222)의 상면에 얹혀 결합 고정되는 교체블럭(223)으로 구성되며, 이때 상기 교체블럭(223)의 저면에는 장착홈(223a)이 요입 형성됨과 더불어 상기 장착홈(223a)에는 하네스(10)를 이루는 단자부(11) 중 커넥터로 이루어진 단자부가 결합되는 장착커넥터(223b)가 압입 고정되도록 이루어짐을 제시한다. 이때, 상기 장착커넥터(223b)는 헤네스(10)의 각 전선(12,13)에 대한 통전 여부를 검사하는 역할을 위한 부위이다.When the terminal portion 11 constituting the harness 10 among the receiving blocks 220 of the above-described respective drawings is a connector structure, the receiving block 220 is mounted on the upper surface of the test plate 210, And a replacement block 223 which is mounted on the upper surface of the base block 222 and is fixed to the upper surface of the base block 222. A mounting groove 223a is formed on the bottom surface of the replacement block 223, And a mounting connector 223b to which the terminal portion of the terminal portion 11 constituting the harness 10 is connected is press-fitted into the terminal fitting portion 223a. At this time, the mounting connector 223b is a part for checking whether the electric wires 12, 13 of the horns 10 are energized.

이와 같은 구조의 수용블럭(220)은 헤네스(10)의 종류(헤네스의 단자부 종류)가 바뀔 경우 수용블럭(220) 전체를 교체하는 것이 아니라 상기 교체블럭(223)만 교체하도록 함으로써 전체적인 단가의 절감을 이룰 수 있도록 한 것이며, 이에 관련하여는 첨부된 도 5 및 도 7에 도시된 바와 같다.When the type of the HENNESS 10 (the type of the terminal of the HENNESS) is changed, the receiving block 220 having such a structure does not replace the whole of the receiving block 220 but allows only the replacement block 223 to be replaced, And it is as shown in Figs. 5 and 7 attached hereto.

다음으로, 상기 비전카메라(300)는 상기 안착부(200)에 안착된 하네스(10)의 영상을 촬영하는 기기이다.Next, the vision camera 300 is a device for capturing an image of the harness 10 that is seated on the seating part 200.

이와 같은 비전카메라(300)는 상기 안착부(200)의 직상방에 위치되면서 상기 안착부(200)에 안착된 하네스(10)의 단자부(11) 및 각 전선(12,13)들을 촬영할 수 있도록 구성된다.The vision camera 300 may be configured to photograph the terminal portions 11 and the wires 12 and 13 of the harness 10 mounted on the seating portion 200 while being positioned in the upper portion of the seating portion 200 .

다음으로, 상기 컨트롤러(400)는 상기 비전카메라(300)에 의해 촬영된 영상을 토대로 불량 여부를 판독하는 장치이다.Next, the controller 400 reads a defect based on the image photographed by the vision camera 300.

이와 같은 컨트롤러(400)는 상기 비전카메라(300)로부터 촬영된 영상을 전송받아 설정된 영역 내의 각 구성요소(단자부 및 각 전선)를 검출하도록 판독하는 판독프로그램을 가짐과 더불어 이 판독프로그램에 의해 판독된 각 구성요소의 색상을 인식하여 분류하는 에이다부스트(AdaBoost) 분류기가 포함되어 이루어진다.The controller 400 has a reading program for reading an image captured by the vision camera 300 and detecting each component (terminal portion and each wire) in a predetermined area, And an AdaBoost classifier for recognizing and classifying the color of each component.

한편, 미설명 부호 500은 모니터로써 상기 비전카메라(300)에 의해 촬영된 영상을 디스플레이하기 위한 기기이다.On the other hand, the reference numeral 500 is a device for displaying an image photographed by the vision camera 300 as a monitor.

하기에서는, 전술된 본 발명의 실시예에 따른 하네스용 비전 검사장치를 이용한 하네스(10)의 불량 판단 과정에 대하여 더욱 상세히 설명하도록 한다.Hereinafter, the process of determining the failure of the harness 10 using the vision inspection apparatus for a harness according to the embodiment of the present invention will be described in more detail.

우선, 검사하고자 하는 하네스(10)의 종류에 따라 안착부(200)의 수용블럭(220) 혹은, 교체블럭(223)을 선택하여 설치한다.First, the receiving block 220 or the replacement block 223 of the seat 200 is selected and installed according to the type of the harness 10 to be inspected.

다음으로, 검사하고자 하는 하네스(10)를 검사판(210)의 상면에 안착시킨다.Next, the harness 10 to be inspected is placed on the upper surface of the inspection plate 210.

이때, 상기 하네스(10)를 이루는 단자부(11)는 상기 검사판(210)의 단자부 안착영역(211) 중 수용블럭(220)의 수용홈(221) 내로 수용되도록 위치시킴과 더불어 각 전선(12,13)들은 검사판(210) 중 전선 안착영역(212)에 위치되도록 한다.At this time, the terminal portion 11 constituting the harness 10 is positioned to be received in the receiving groove 221 of the receiving block 220 among the terminal receiving portion 211 of the inspection plate 210, 13 are located in the wire seating area 212 of the inspection plate 210.

만일, 상기 하네스(10)의 단자부(11)가 커넥터로 이루어진 구조일 경우라면 상기 수용블럭(220)의 수용홈(221) 내에 위치된 장착커넥터(223b)에 접속시킨다.If the terminal portion 11 of the harness 10 is a connector, the connector is connected to the mounting connector 223b located in the receiving groove 221 of the receiving block 220.

이와 같은 과정에 의한 하네스(10)의 장착이 완료되면 비전카메라(300)의 동작 제어가 이루어지면서 상기 비전카메라(300)를 통한 검사판(210) 상면에 위치된 하네스(10)에 대한 촬영이 이루어진다.When the installation of the harness 10 is completed by the above process, the operation of the vision camera 300 is controlled, and the shooting of the harness 10 positioned on the upper surface of the inspection plate 210 through the vision camera 300 .

그리고, 상기와 같이 촬영된 영상의 영상 뎅이터는 컨트롤러(400)로 제공되며, 상기 컨트롤러(400)에서는 해당 영상 데이터를 토대로 단자부(11)에 대한 위치 검사와, 각 전선(12,13)에 대한 존재 유무 및 위치 검사를 순차적으로 수행하며, 이로써 하네스(10)의 불량 여부를 판독하게 된다.The controller 400 monitors the position of the terminal unit 11 on the basis of the image data and controls the position of each of the wires 12 and 13 on the basis of the image data. The existence of the harness 10 and the positional inspection are sequentially performed, thereby reading whether the harness 10 is defective or not.

이를 더욱 상세히 설명하면 다음과 같다.This will be described in more detail as follows.

먼저, 상기 컨트롤러(400)는 상기 비전카메라(300)로부터 수신받은 영상 데이터로부터 단자부(11)에 대한 경계를 검출하여 해당 단자부(11)의 영역을 표시한다. 이에 대하여는 첨부된 도 10의 순서도에 도시된 바와 같다.First, the controller 400 detects a boundary with respect to the terminal unit 11 from the video data received from the vision camera 300, and displays an area of the corresponding terminal unit 11. This is as shown in the flowchart of FIG. 10 attached hereto.

그리고, 상기 과정이 완료되면 상기 컨트롤러(400)는 상기 검출된 단자부(11)의 넓이를 핀수(전선 수)만큼 영역을 분할한 후 이 분할된 영역 좌표값을 각각 저장하며, 계속해서 상기 좌표값에 해당하는 부분에 전선(12,13)이 존재하는지의 여부를 판단한 후 전선(12,13)이 존재하지 않을 경우에는 빈 홀로 판단하는 것이다. 이에 대하여는 첨부된 도 11의 순서도에 도시된 바와 같다.When the above process is completed, the controller 400 divides the area of the detected terminal unit 11 by the number of pins (the number of wires), stores the divided area coordinate values, It is determined whether or not the wires 12 and 13 are present in the portion corresponding to the wire 12 and 13. If the wires 12 and 13 do not exist, This is shown in the flowchart of FIG. 11 attached hereto.

이때, 상기 전선(12,13)의 존재 여부에 대한 판단시 상기 비전카메라(300)에 의해 촬영되는 영상에는 검사판(210)의 흑색의 식별라인(213) 및 백색의 식별라인(214)도 함께 포함되며, 상기 각 식별라인(213,214)은 전선(12,13)을 가로지르면서 순차적으로 배치되어 있기 때문에 상기 컨트롤러(400)는 상기 촬영된 영상을 통한 각 전선(12,13)의 위치나 존재 유무를 정확히 판단할 수 있게 된다.The black identification line 213 and the white identification line 214 of the inspection plate 210 are also displayed on the image photographed by the vision camera 300 when the presence of the electric wires 12 and 13 is determined Since the identification lines 213 and 214 are sequentially disposed across the wires 12 and 13, the controller 400 controls the positions of the wires 12 and 13 through the captured image It is possible to accurately determine the presence or absence.

특히, 상기 각 식별라인(213,214) 중 어느 한 흑색의 식별라인(213)은 상기 단자부(11)에 최대한 인접하여 위치되도록 프린팅되어 있기 때문에 첨부된 도 8과 같이 각 전선(12,13)의 휨이 있다 하더라도 해당 전선(12,13)과 단자부(11) 간의 연결 부위의 휨은 미미하기 때문에 상기 연결 부위로부터 인접된 부위의 식별을 통해 상기 각 전선(12,13)의 존재 유무 및 위치가 더욱 정확히 파악될 수 있게 된다.Particularly, since the black identification line 213 of each of the identification lines 213 and 214 is printed so as to be positioned as close as possible to the terminal unit 11, the deflection of each of the electric lines 12 and 13 The presence of the electric wires 12 and 13 and the position of the electric wires 12 and 13 can be detected through identification of the adjacent parts from the connection part, So that it can be accurately grasped.

전술된 각 과정을 통해 특정 하네스에 대한 불량 검사가 완료되면 해당 하네스(10)의 취출 및 새로운 하네스(10)의 장착을 수행한 후 전술된 각 과정을 반복하여 수행함으로써 연속적이면서도 정확한 불량 검사가 수행될 수 있게 된다.After the defect inspection for the specific harness is completed through the above-described processes, the extraction of the harness 10 and the mounting of the new harness 10 are performed, and the above-described respective processes are repeatedly performed to continuously perform accurate defect inspection .

결국, 본 발명에 따른 하네스용 비전 검사장치는 흑색 및 백색의 전선(12,13)들로 이루어진 하네스(10)라 하더라도 그의 존재 유무에 대한 오류 발생이 방지됨으로써 각 전선(12,13)의 존재 유무 및 위치 불량을 정확히 판단할 수 있게 된다.As a result, even if the harness 10 including the black and white wires 12 and 13 is prevented from being erroneously present, the vision inspection apparatus for a harness according to the present invention prevents the presence of the wires 12 and 13 It is possible to accurately determine the presence and the defective position.

10. 하네스 11. 단자부
12. 흑색 전선 13. 백색 전선
100. 베이스프레임 110. 테이블
200. 안착부 210. 검사판
211. 단자부 안착영역 212. 전선 안착영역
213. 흑색의 식별라인 214. 백색의 식별라인
220. 수용블럭 221. 수용홈
222. 베이스블럭 223. 교체블럭
223a. 장착홈 223b. 장착커넥터
300. 비전카메라 400. 컨트롤러10. Harness 11. Terminal
12. Black wire 13. White wire
100. Base frame 110. Table
200. Seat part 210. Inspection plate
211. Terminal area seating area 212. Wire seating area
213. Black identification line 214. White identification line
220. Receiving block 221. Receiving groove
222. Base block 223. Replacement block
223a. Mounting groove 223b. Mounting connector
300. Vision camera 400. Controller

Claims (5)

커넥터 혹은, 터미널 중 어느 하나로 이루어진 단자부와 이 단자부에 연결되는 복수의 전선으로 이루어진 하네스용 비전 검사장치에 있어서,
상면으로 테이블이 구비되어 이루어진 베이스프레임;
상기 베이스프레임을 이루는 테이블의 상면에 구비되면서 검사 대상 하네스가 안착됨과 더불어 하네스를 이루는 각 전선들의 식별을 위한 복수의 식별라인이 형성되어 이루어진 안착부;
상기 안착부의 직상방에 위치되면서 상기 안착부에 안착된 하네스의 영상 촬영을 위한 비전카메라;
상기 비전카메라에 의해 촬영된 영상을 토대로 불량 여부를 검사하는 컨트롤러;를 포함하여 이루어지며,
상기 안착부는
테이블의 상면에 고정되면서 평판형으로 이루어짐과 더불어 상면에는 복수의 식별라인이 프린팅되어 이루어진 검사판과,
상기 검사판의 상면에 고정 설치되면서 전면으로는 상기 하네스의 단자부가 수용되는 수용홈이 요입 형성되어 이루어진 수용블럭을 포함하여 구성되고,
상기 검사판의 상면에 프린팅되는 복수의 식별라인은
흑색의 식별라인 및 백색의 식별라인으로 이루어지면서 상기 하네스의 각 전선들을 가로지르는 방향으로 형성됨과 더불어 상기 각 전선들의 길이 방향을 따라 흑색의 식별라인과 백색의 식별라인이 반복하면서 서로 평행하게 프린팅되도록 이루어짐을 특징으로 하는 하네스용 비전 검사장치.1. A vision inspection apparatus for a harness comprising a terminal portion made of any one of a connector and a terminal and a plurality of electric wires connected to the terminal portion,
A base frame having an upper surface provided with a table;
A seating part provided on an upper surface of the table constituting the base frame and having a plurality of identification lines for identifying harnesses for harness,
A vision camera for capturing an image of a harness positioned in the seating portion while being positioned in an upper right room of the seating portion;
And a controller for checking whether there is a defect based on the image photographed by the vision camera,
The seat
A plurality of identification lines printed on the upper surface of the table,
And a receiving block fixedly mounted on the upper surface of the inspection plate and having a receiving groove formed therein for receiving a terminal portion of the harness,
The plurality of identification lines printed on the upper surface of the inspection plate
The black identification line and the white identification line are formed in a direction crossing the respective wires of the harness and the black identification line and the white identification line are repeatedly printed along the longitudinal direction of the respective wires in parallel to each other And the visual inspection device for a harness. 삭제delete 삭제delete 제 1 항에 있어서,
상기 검사판의 상면 색상은 백색으로 형성되고,
상기 각 식별라인 중 흑색의 식별라인이 검사판에 얹히는 하네스의 단자부에 가장 인접하게 위치되도록 프린팅됨을 특징으로 하는 하네스용 비전 검사장치.The method according to claim 1,
The color of the upper surface of the inspection plate is formed in white,
Wherein the black identification line of each identification line is printed so as to be positioned closest to the terminal portion of the harness placed on the inspection plate. 커넥터 혹은, 터미널 중 어느 하나로 이루어진 단자부와 이 단자부에 연결되는 복수의 전선으로 이루어진 하네스용 비전 검사장치에 있어서,
상면으로 테이블이 구비되어 이루어진 베이스프레임;
상기 베이스프레임을 이루는 테이블의 상면에 구비되면서 검사 대상 하네스가 안착됨과 더불어 하네스를 이루는 각 전선들의 식별을 위한 복수의 식별라인이 형성되어 이루어진 안착부;
상기 안착부의 직상방에 위치되면서 상기 안착부에 안착된 하네스의 영상 촬영을 위한 비전카메라;
상기 비전카메라에 의해 촬영된 영상을 토대로 불량 여부를 검사하는 컨트롤러;를 포함하여 이루어지며,
상기 안착부는
테이블의 상면에 고정되면서 평판형으로 이루어짐과 더불어 상면에는 복수의 식별라인이 프린팅되어 이루어진 검사판과,
상기 검사판의 상면에 고정 설치되면서 전면으로는 상기 하네스의 단자부가 수용되는 수용홈이 요입 형성되어 이루어진 수용블럭을 포함하여 구성되고,
상기 안착부를 이루는 수용블럭은 검사판의 상면에 얹혀 결합 고정되는 베이스블럭과, 상기 베이스블럭의 상면에 얹혀 결합 고정되는 교체블럭을 포함하여 이루어지며,
상기 교체블럭의 저면에는 장착홈이 요입 형성됨과 더불어 상기 장착홈에는 하네스를 이루는 단자부 중 커넥터로 이루어진 단자부가 결합되는 장착커넥터가 압입 고정됨을 특징으로 하는 하네스용 비전 검사장치.1. A vision inspection apparatus for a harness comprising a terminal portion made of any one of a connector and a terminal and a plurality of electric wires connected to the terminal portion,
A base frame having an upper surface provided with a table;
A seating part provided on an upper surface of the table constituting the base frame and having a plurality of identification lines for identifying harnesses for harness,
A vision camera for capturing an image of a harness positioned in the seating portion while being positioned in an upper right room of the seating portion;
And a controller for checking whether there is a defect based on the image photographed by the vision camera,
The seat
A plurality of identification lines printed on the upper surface of the table,
And a receiving block fixedly mounted on the upper surface of the inspection plate and having a receiving groove formed therein for receiving a terminal portion of the harness,
The receiving block constituting the seating part includes a base block mounted on the upper surface of the inspection plate and fixed to the upper surface of the inspection plate, and a replacement block mounted on the upper surface of the base block,
Wherein a mounting groove is formed in a bottom surface of the replacement block, and a mounting connector, to which a terminal portion of a connector of a terminal portion constituting a harness is coupled, is press-fitted into the mounting groove.
KR1020150028213A 2015-02-27 2015-02-27 vision inspection device for a harness KR101641099B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150028213A KR101641099B1 (en) 2015-02-27 2015-02-27 vision inspection device for a harness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150028213A KR101641099B1 (en) 2015-02-27 2015-02-27 vision inspection device for a harness

Publications (1)

Publication Number Publication Date
KR101641099B1 true KR101641099B1 (en) 2016-07-29

Family

ID=56617766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150028213A KR101641099B1 (en) 2015-02-27 2015-02-27 vision inspection device for a harness

Country Status (1)

Country Link
KR (1) KR101641099B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791348B1 (en) 2016-07-28 2017-10-30 이용호 Jig for harness vision inspecting, apparatus for vision inspecting
KR20200139948A (en) 2019-06-05 2020-12-15 (주) 미래테크원 cable harness inspection method based on machine vision

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2841200B2 (en) * 1988-08-12 1998-12-24 東芝エンジニアリング株式会社 Array pattern inspection device
KR20040096893A (en) * 2004-10-05 2004-11-17 (주)가람솔루션 System for automatic detecting defections of harness
KR20060133271A (en) * 2005-06-20 2006-12-26 주식회사 세영 The method and an apparatus for inspecting harness by edge-detection
KR20120071842A (en) * 2010-12-23 2012-07-03 주식회사 한광옵토 Apparatus and method for marking position recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2841200B2 (en) * 1988-08-12 1998-12-24 東芝エンジニアリング株式会社 Array pattern inspection device
KR20040096893A (en) * 2004-10-05 2004-11-17 (주)가람솔루션 System for automatic detecting defections of harness
KR20060133271A (en) * 2005-06-20 2006-12-26 주식회사 세영 The method and an apparatus for inspecting harness by edge-detection
KR20120071842A (en) * 2010-12-23 2012-07-03 주식회사 한광옵토 Apparatus and method for marking position recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791348B1 (en) 2016-07-28 2017-10-30 이용호 Jig for harness vision inspecting, apparatus for vision inspecting
KR20200139948A (en) 2019-06-05 2020-12-15 (주) 미래테크원 cable harness inspection method based on machine vision

Similar Documents

Publication Publication Date Title
KR101669862B1 (en) vision inspection device for a terminal type harness
US9852500B2 (en) Guided inspection of an installed component using a handheld inspection device
CN100399039C (en) Printed circuit board checking device
JP2018530800A (en) Method for assembling electric switch and assembly assist device for simplifying assembly of such switch
US20070002315A1 (en) Apparatus and method for inspecting screw portion
US9276369B2 (en) Method of assembling an electric equipment having a first connector and a second connector
KR101641099B1 (en) vision inspection device for a harness
KR101756586B1 (en) A Test Device Contacting Each Connecter Of The Multi-connecter Display Module Simultaneously
KR20160071033A (en) In circuit tester inspection System for Flexible PCB assembly
KR102191704B1 (en) cable harness inspection method based on machine vision
JP2005128016A (en) Inspection system and method
WO2017018788A1 (en) Substrate inspection apparatus and method
CN108701346B (en) Wiring inspection work support system
KR101742260B1 (en) auto conveying type vision inspection device for a harness
CN115511791A (en) Liquid crystal grating function detection method and system
CN112275665B (en) Anti-mixing method applied to PCB electrical measurement
KR101733076B1 (en) Optical inspection system
KR200419087Y1 (en) Device for junction box test
WO2013124958A1 (en) Visual inspection device equipped with eye position identification means
CN113933309A (en) Method for retesting defects in blind hole by AOI machine
CN105717119A (en) Double-row wire-harness color detecting device
KR102591648B1 (en) Vision and energization automatic inspection device for flexible flat cable
KR100731295B1 (en) Device for junction box test
RU2811335C1 (en) Method and device for monitoring contacts of connector sockets installed on printed circuit board
KR200421155Y1 (en) Automotive Fuse and Relay Box Vision Inspection System

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 4