KR19990066116A - Position and posture measuring method of shipbuilding assembly member through two-step image processing - Google Patents

Position and posture measuring method of shipbuilding assembly member through two-step image processing Download PDF

Info

Publication number
KR19990066116A
KR19990066116A KR1019980001762A KR19980001762A KR19990066116A KR 19990066116 A KR19990066116 A KR 19990066116A KR 1019980001762 A KR1019980001762 A KR 1019980001762A KR 19980001762 A KR19980001762 A KR 19980001762A KR 19990066116 A KR19990066116 A KR 19990066116A
Authority
KR
South Korea
Prior art keywords
image
image processing
posture
members
measuring
Prior art date
Application number
KR1019980001762A
Other languages
Korean (ko)
Other versions
KR100266805B1 (en
Inventor
김재훈
윤재웅
전바롬
Original Assignee
이해규
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이해규, 삼성중공업 주식회사 filed Critical 이해규
Priority to KR1019980001762A priority Critical patent/KR100266805B1/en
Publication of KR19990066116A publication Critical patent/KR19990066116A/en
Application granted granted Critical
Publication of KR100266805B1 publication Critical patent/KR100266805B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 조선 소조립라인의 취부공정에서 1단계 영상처리를 수행하여 부재의 대략적인 위치와 자세를 파악한 후, 파악된 위치로 갠트리를 이동시켜 부재 근방에서 2단계의 영상처리를 수행하므로 부재의 정확한 위치와 자세를 자동으로 측정할 수 있게 하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법에 관한 것으로, 조선 소조립라인에서 정확한 부재조립을 가능하게 하기 위해서 정반상에 재치된 부재의 위치 및 자세를 측정하는 시스템에 있어서, 취부공정에서 천정에 취부된 한쌍의 카메라들로 영상을 획득하고 합성영상을 만들어 부재의 대략적인 위치와 자세를 파악하는 제 1영상처리단계; 및 상기 제 1영상처리단계에서 파악된 위치로 갠트리를 이동시키며 부재근방에서 갠트리회전축하방에 부착된 카메라로 영상을 얻어 영상처리를 행하여 부재의 정확한 위치와 자세를 측정하는 제 2영상처리단계를 포함하며, 이에 의해 본 발명은 부재의 정확한 위치와 자세를 자동으로 측정함으로써 보다 정밀한 작업이 가능하며, 다른 부수적인 시설투자없이 신속정확한 작업을 행할 수 있어 생산성을 향상하고 시설비를 절감할 수 있는 잇점을 가지고 있다.The present invention performs the first step image processing in the shipbuilding subassembly line to determine the approximate position and posture of the member, and then moves the gantry to the identified position to perform the two-step image processing in the vicinity of the member. The present invention relates to a method for measuring the position and attitude of ship assembly members through two-stage image processing that enables automatic measurement of accurate position and posture. A system for measuring the position and posture of a member, comprising: a first image processing step of acquiring an image with a pair of cameras mounted on the ceiling in a mounting process and making a composite image to determine an approximate position and posture of the member; And a second image processing step of moving the gantry to the position identified in the first image processing step, obtaining an image with a camera attached to the gantry rotation axis near the member, and performing image processing to measure the exact position and posture of the member. In this way, the present invention is capable of more precise work by automatically measuring the exact position and posture of the member, and can be performed quickly and precisely without any additional facility investment, thereby improving productivity and reducing facility costs. Have.

Description

2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법Position and posture measuring method of ship assemble member through two-step image processing

본 발명은 용접로봇을 이용한 조선 소조립라인의 자동용접시스템에 관한 것으로, 특히 취부공정에서 1단계 영상처리를 수행하여 부재의 대략적인 위치와 자세를 파악한 후, 파악된 위치로 갠트리를 이동시켜 부재 근방에서 2단계의 영상처리를 수행하므로 부재의 정확한 위치와 자세를 자동으로 측정할 수 있게 하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법에 관한 것이다.The present invention relates to an automatic welding system of a ship assembly line using a welding robot, and in particular, after performing a one-step image processing in the mounting process to determine the approximate position and posture of the member, by moving the gantry to the identified position The present invention relates to a method for measuring the position and attitude of shipbuilding subassembly members through two-step image processing, which enables two-step image processing in the vicinity to automatically measure the exact position and posture of the member.

기술이 급진적으로 발달되어 산업현장에서 자동화가 급속히 확산되면서 로봇을 이용한 자동작업이 보편화되어 가고 있는 추세이다. 이중 대표적인 것이 용접작업을 자동으로 수행하는 용접로봇이며, 이러한 용접로봇이 가장 많이 사용되는 곳이 조선의 조립라인이다. 특히, 조선소의 소조립라인에서는 용접대상부재가 놓이는 정반의 크기가 수M×수십M로 매우 크며, 이 때문에 용접로봇을 이용한 자동용접을 수행하기 위해서 먼저 용접대상부재의 정확한 위치와 자세를 파악해야 한다. 이러한 용접대상부재의 정확한 위치와 자세를 기존에는 도 1에서와 같은 방법으로 파악하였다.With the rapid development of technology, automation is rapidly spreading in the industrial field, and automatic work using robots is becoming common. The most representative of these is a welding robot that automatically performs a welding operation, and the assembly line of shipbuilding is the most frequently used such a welding robot. Especially, in the small assembly line of the shipyard, the size of the plate on which the welding target member is placed is very large, several M × several tens M. Therefore, in order to perform automatic welding using the welding robot, the exact position and posture of the welding target member must be determined. do. The exact position and posture of the member to be welded was grasped in the same manner as in FIG. 1.

도 1은 일본 NKK사의 부재위치 인식을 위한 비젼(Vision)시스템의 구성도로, 보는 바와 같이 용접부재(10)의 두 점에 특정형상의 마크(11)를 인쇄하고 부재를 정반상의 특정 그리드(Grid)내에 재치시킨다. 그러면, 용접로봇(20)에 설치된 CCD카메라(21)가 마크(11)를 감지하여 위치감지시스템(30)으로 전송한 후, 지오메트릭트랜스포매이션시스템(40)으로 전송하면 부재의 위치와 자세에 따라 위치좌표에 따른 로봇제어값을 로봇제어시스템(50)에 보내 로봇콘트롤러(51)를 통해 로봇(20)을 통제하였다. 그러므로, 이러한 시스템을 운용하기 위해서는 부재를 정반위에 재치시킬 때 작업자가 부재를 특정 그리드내에 위치시켜야만 하는 불편함이 있을 뿐만 아니라, 마킹(Marking)으로 인한 추가공정이 필요하고 마크인식을 위해 외부광원을 차단해야 하기 때문에 광원차단을 위한 추가설비가 필요해 추가의 시설비가 소요되는 문제점도 있었다.1 is a block diagram of a vision system for recognizing a member position of NKK in Japan. As shown, a specific shape mark 11 is printed on two points of a welding member 10 and a member is placed on a specific grid. Wit). Then, the CCD camera 21 installed in the welding robot 20 detects the mark 11 and transmits the mark 11 to the position sensing system 30 and then transmits the mark 11 to the geometric transformation system 40. Accordingly, the robot control value according to the position coordinates was sent to the robot control system 50 to control the robot 20 through the robot controller 51. Therefore, in order to operate such a system, in addition to the inconvenience that the operator has to place the member in a specific grid when placing the member on the surface, additional processing by marking is required and an external light source is used for mark recognition. Since there is a need to block the additional equipment for light source blocking, there was a problem in that additional facility costs are required.

따라서, 본 발명의 목적은 상기에서와 같은 종래의 결점을 해소하기 위해서 안출한 것으로서, 취부공정에서 1단계 영상처리를 수행하여 부재의 대략적인 위치와 자세를 파악한 후, 파악된 위치로 갠트리를 이동시켜 부재 근방에서 2단계의 영상처리를 수행하므로 부재의 정확한 위치와 자세를 자동으로 측정할 수 있게 한 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법을 제공함에 있다.Therefore, an object of the present invention is to devise to solve the above-mentioned conventional defects, to perform the one-step image processing in the mounting process to determine the approximate position and posture of the member, and then move the gantry to the identified position. By performing two-step image processing in the vicinity of the member to provide a method for measuring the position and attitude of the ship assembly assembly through a two-step image processing that can automatically measure the exact position and posture of the member.

도 1은 종래의 부재위치 인식을 위한 비젼(Vision)시스템의 구성도,1 is a block diagram of a vision system for recognizing a conventional member position;

도 2는 조선 소조립라인의 취부공정에서 행해지는 1단계 영상처리를 설명하기 위한 사시도,Figure 2 is a perspective view for explaining the one-step image processing performed in the installation process of shipbuilding small assembly line,

도 3은 도 2의 영상처리에 의해 정반상의 부재가 나타난 합성영상을 나타낸 도면,FIG. 3 is a view showing a composite image in which a surface member appears by the image processing of FIG. 2; FIG.

도 4는 취부공정에서의 1단계 영상처리과정을 나타낸 흐름도,4 is a flowchart showing a one-step image processing process in the attaching process;

도 5는 조선 소조립라인의 용접공정에서 행해지는 2단계 영상처리를 설명하기 위한 사시도,5 is a perspective view for explaining a two-step image processing performed in the welding process of shipbuilding small assembly line,

도 6은 도 5의 영상처리에 의해 정반상의 부재가 영상에 투영되어 나타난 도면,FIG. 6 is a view showing a projecting member on the image by the image processing of FIG. 5;

도 7은 용접공정에서의 2단계 영상처리과정을 나타낸 흐름도,7 is a flowchart illustrating a two-step image processing process in a welding process;

도 8은 도 7에서 영상처리부분을 상세하게 설명하기 위한 흐름도.FIG. 8 is a flowchart for explaining an image processing part in FIG. 7 in detail. FIG.

*도면의 주요부분에 대한 부호설명* Code descriptions for the main parts of the drawings

10 : 부재 20 : 용접로봇10: member 20: welding robot

60 : 카메라 70 : 정반60: camera 70: surface plate

80 : 갠트리회전축 81 : 카메라80: gantry rotation axis 81: camera

이와 같은 목적을 달성하기 위한 본 발명에 따른 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법은 조선 소조립라인에서 정확한 부재조립을 가능하게 하기 위해서 정반상에 재치된 부재의 위치 및 자세를 측정하는 시스템에 있어서, 취부공정에서 천정에 취부된 한쌍의 카메라들로 영상을 획득하고 합성영상을 만들어 부재의 대략적인 위치와 자세를 파악하는 제 1영상처리단계; 및 상기 제 1영상처리단계에서 파악된 위치로 갠트리를 이동시키며 부재근방에서 갠트리회전축하방에 부착된 카메라로 영상을 얻어 영상처리를 행하여 부재의 정확한 위치와 자세를 측정하는 제 2영상처리단계를 포함한다. 이 1,2단계의 영상처리에 대해서는 이하에서 보다 구체적으로 설명하기로 한다.In order to achieve the above object, the position and posture measuring method of shipbuilding assembly through the two-stage image processing according to the present invention, the position of the member placed on the surface plate to enable accurate assembly of the shipbuilding assembly line And a posture measuring system, comprising: a first image processing step of acquiring an image with a pair of cameras mounted on a ceiling in a mounting process and making a composite image to determine an approximate position and posture of a member; And a second image processing step of moving the gantry to the position identified in the first image processing step, obtaining an image with a camera attached to the gantry rotation axis near the member, and performing image processing to measure the exact position and posture of the member. do. The image processing of the first and second stages will be described in more detail below.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들에 의거하여 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 조선 소조립라인의 취부공정에서 행해지는 1단계 영상처리를 설명하기 위한 사시도이고, 도 3은 도 2의 영상처리에 의해 정반상의 부재가 나타난 합성영상을 나타낸 도면이다. 도 2에서 보는 바와 같이 천정에 고정된 2대의 카메라(60)를 이용하여 정반(70)전체에 대한 영상을 얻게 된다. 획득된 두 장의 영상은 영상합성과정을 거쳐 도 3에 도시한 바와 같은 하나의 영상으로 표현된다. 여기서, 도 3에 부기된 부호 ㉠,㉡은 부재(10)의 두 꼭지점을 나타낸다.FIG. 2 is a perspective view illustrating a one-step image processing performed in the attaching process of a ship small assembly line, and FIG. 3 is a view showing a composite image in which a surface member is shown by the image processing of FIG. 2. As shown in FIG. 2, an image of the entire surface plate 70 is obtained by using two cameras 60 fixed to the ceiling. The obtained two images are represented as one image as shown in FIG. 3 through an image synthesis process. Here, symbols ㉠ and ㉡ added to FIG. 3 represent two vertices of the member 10.

도 4는 취부공정에서의 1단계 영상처리과정을 나타낸 흐름도로, 이제 도 2, 도 3과 병행참조하면서 1단계의 영상처리과정에 대해 상세히 설명한다.FIG. 4 is a flowchart illustrating a one-step image processing process in the attaching process. Now, the one-step image processing process will be described in detail with reference to FIGS. 2 and 3.

정반(70)의 전영역에 대하여 측정을 가능하게 하기 위하여 두 대의 카메라(60)로 영상을 획득한 후, 획득된 두 영상을 영상합성과정을 거쳐 하나의 영상으로 만든다.(단계100,101) 그리고, 부재(10)의 외곽선 정보로 이뤄진 CAD데이터를 이용하여 합성된 영상내에 나타나는 부재(10)의 ID를 결정한다.(단계102) 부재(10)의 ID결정이 끝나면 부재(10)의 외곽선 위치와 CAD데이터 외곽선 위치의 대응관계가 일치되도록 정렬시킨다.(단계103) 그러면, CAD데이터에 대응하는 부재(10)의 대략적 이동량과 회전량을 측정할 수 있는 데, 이때 측정되는 좌표는 영상좌표이므로 미리 구해둔 칼리브레이션(Calibration)데이터를 이용하여 이들 영상상의 점들을 공간상의 점으로 변환하여 부재(10)의 이동량과 회전량을 측정한다.(단계104) 한 부재(10)에 대한 상기와 같은 일련의 과정이 끝난 후 정반(70)상의 모든 부재(10)의 이동량과 회전량을 측정하였는 지를 판단한다.(단계105) 이때, 모든 부재에 대한 이동량과 회전량 측정이 끝나지 않은 것으로 판단될 경우에는 단계 102로 되돌아가 전단계를 반복하게 되며, 측정이 끝난 것으로 판단될 때에는 부재들 중 선단부재를 인식하여 선단부재의 위치를 구한다.(단계106) 이 선단부재의 위치는 취부공정과 용접공정에서 두 공정의 정반의 끝점과 부재의 상대적인 위치차이를 보정하는데 이용된다. 선반부재의 위치가 결정되면 부재선단과 정반끝의 거리차(Dx)를 구한 다음, 용접공정에 위치한 센서와 용접공정 정반끝점과의 거리차(dx)를 구한다. 용접공정에는 라인을 따라 이동하는 부재를 검출하는 센서가 있으며, 이 센서가 부재를 검출하면 라인의 이동이 멈추게 된다. 용접공정에서의 부재의 X좌표 X′는 아래식과 같이 구해진다. 이와 같이 구해진 X′는 취부공정과 용접공접에서 두 공정의 정반의 끝점과 부재의 상대적인 위치의 차이를 보정하기 위한 것이다.In order to enable measurement of the entire area of the surface plate 70, images are acquired by two cameras 60, and then the obtained two images are made into one image through an image synthesis process (steps 100 and 101). The ID of the member 10 appearing in the synthesized image is determined by using the CAD data composed of the outline information of the member 10. (Step 102) After the ID of the member 10 is determined, the position of the outline of the member 10 and the position of the member 10 are determined. (Step 103) It is possible to measure the approximate amount of movement and the amount of rotation of the member 10 corresponding to the CAD data. In this case, the measured coordinates are image coordinates. Using the obtained calibration data, the points on these images are converted into points in space to measure the amount of movement and rotation of the member 10 (step 104). Process Then, it is determined whether the movement amount and the rotation amount of all the members 10 on the surface plate 70 have been measured. (Step 105) In this case, if it is determined that the movement amount and the rotation amount measurement for all the members are not finished, the operation proceeds to step 102. When it is determined that the measurement is finished, the previous step is repeated, and the position of the tip member is obtained by recognizing the tip member among the members. (Step 106) The position of the tip member is based on the two steps in the mounting process and the welding process. It is used to correct the relative positional difference between the end point and the member. When the position of the shelf member is determined, the distance difference (Dx) between the member tip and the surface end is obtained, and then the distance difference (dx) between the sensor located in the welding process and the surface end point of the welding process is obtained. In the welding process, there is a sensor for detecting a member moving along a line. When the sensor detects a member, the movement of the line is stopped. The X coordinate X 'of the member in the welding step is obtained as shown below. X 'thus obtained is for correcting the difference in the relative position of the end point of the surface plate and the member of the two processes in the mounting process and the welding weld.

X′= X + (Dx - dx) ………①X '= X + (Dx-dx)... … … ①

여기서, X는 취부공정에서의 X좌표를 나타내며, 위와 같이 측정된 모든 부재들의 이동량과 회전량을 이용하여 부재의 대략적 위치 및 자세를 인식하게 된다.(단계107)Here, X represents the X coordinate in the mounting process, and the approximate position and attitude of the member are recognized using the movement amount and rotation amount of all the members measured as described above (step 107).

도 5는 조선 소조립라인의 용접공정에서 행해지는 2단계 영상처리를 설명하기 위한 사시도이고, 도 6은 도 5의 영상처리에 의해 정반상의 부재가 영상에 투영되어 나타난 도면이다. 제 2영상처리단계에서는 갠트리회전축(80)의 중앙부위에 부착된 카메라(81)를 통해 영상을 얻게 되는 데, 이 영상이 도 6에 나타나 있다. 도 6에 부기된 부호 ㉢은 용접공정영상에 나타난 부재(10)의 꼭지점이다. 이 2단계 영상처리에 대해서는 도 7 및 도 8를 참조하여 보다 상세히 설명하고자 한다.5 is a perspective view for explaining a two-step image processing performed in the welding process of shipbuilding assembly line, Figure 6 is a view showing the projection on the image to the image by the image processing of FIG. In the second image processing step, an image is obtained through the camera 81 attached to the central portion of the gantry rotating shaft 80, which is shown in FIG. 6. 6 denotes a vertex of the member 10 shown in the welding process image. This two-stage image processing will be described in more detail with reference to FIGS. 7 and 8.

도 7은 용접공정에서의 2단계 영상처리과정을 나타낸 흐름도이다.7 is a flowchart illustrating a two-step image processing process in the welding process.

취부공정의 작업이 모두 완료되고 부재들이 라인을 따라 용접공정으로 이동하여 부재들이 용접공정에 투입되었다는 외부센서의 신호가 입력되면 취부공정의 부재 1차 인식결과를 이용하여 영상획득순서를 스케쥴링한다.(단계200) 스케쥴링이 끝나면 취부공정에서 구한 영상획득위치로 갠트리가 이동하며 갠트리회전축중심에 취부된 카메라로 영상을 순차적으로 얻게 된다.(단계201,202) 획득한 영상들은 일련의 영상처리과정을 통하여 부재 꼭지점의 정밀위치를 측정하게 된다.(단계203) 이 영상처리부분에 대해서는 도 8를 참조하여 보다 상세하게 후술하기로 한다. 부재 꼭지점의 정밀측정이 끝난 후 모든 부재의 측정대상 꼭지점들의 위치를 측정하였는 지를 판단한다.(단계204) 이때, 모든 부재의 측정이 완료되지 않은 것으로 판정되면 단계 201로 되돌아가 전단계를 반복하며, 측정이 완료된 것으로 판정되면 모든 부재들의 영상처리결과를 이용하여 부재의 정밀위치 및 자세를 자동으로 인식하게 된다.(단계205)When all the work in the mounting process is completed and the signals from the external sensor indicating that the members are moved to the welding process along the line and the members have been put into the welding process are input, the image acquisition order is scheduled using the first recognition result of the mounting process. After the scheduling, the gantry is moved to the image acquisition position obtained in the mounting process, and the images are sequentially acquired by the camera mounted at the center of the gantry rotational axis. The precise position of the vertex is measured. (Step 203) This image processing portion will be described later in more detail with reference to FIG. It is determined whether the positions of the measurement target vertices of all the members are measured after the precise measurement of the member vertices is finished. (Step 204) If it is determined that the measurement of all the members is not completed, the process returns to step 201 and repeats the previous steps. If it is determined that the measurement is completed, the precise position and attitude of the member are automatically recognized using the image processing results of all members (step 205).

도 8은 도 7에서 영상처리부분을 상세하게 나타낸 흐름도이다.8 is a detailed flowchart illustrating an image processing part in FIG. 7.

갠트리에 취부된 카메라로 획득한 영상을 메디안필터(Median Filter)를 이용하여 전처리를 행하여 영상상의 노이즈를 제거한다.(단계300) 그런 후, 영상상에 나타나는 부재의 꼭지점에 해당하는 CAD데이터의 꼭지점을 선택하고, 부재의 외곽직선성분들이 존재하리라고 예상되는 영역을 추출한다.(단계301) 그리고, 오토쓰레솔딩(Auto Thresholding)기법을 이용하여 영상을 이진영상으로 만든다.(단계302) 이진영상으로부터 브롭컬러링(Blob Coloring)기법을 이용하여 원하지 않는 노이즈성분들을 제거한다.(단계303) 이 노이즈성분들이 제거된 이진영상으로부터 소벨오퍼레이터(Sobel Operator)를 이용하여 에지들을 검출한다.(단계304) 그리고 나서, 앞에서 구한 직선성분 존재영역에 대하여 허프트랜스폼(Hough Transform)을 행하여 여러직선성분들을 검출한다.(단계305,306) 이 검출된 여러직선성분들과 CAD데이터를 이용하여 부재의 외곽직선이라 판단되는 두 직선들만을 추출한다.(단계307) 이 두 직선으로부터 교점을 구하여 영상상에서의 부재 꼭지점의 위치를 측정한다.(단계308) 한 부재에 대하여 두 꼭지점의 정밀위치가 측정되면 기하학적인 특성에 의하여 부재의 자세를 구할 수 있다. 이와 같이 하여 부재의 정밀위치와 자세가 결정되면 미리 구해둔 칼리브레이션데이터를 이용하여 공간좌표로 변환한다.(단계309) 특히, 갠트리회전축의 중앙위치에 카메라를 부착하여 영상중심의 공간상에서의 좌표가 갠트리좌표와 일치하게 하여 부재의 위치를 공간좌표로 변환하는 과정을 용이하게 한다.The image acquired by the camera attached to the gantry is pre-processed using a median filter to remove noise on the image. And extract the area where the outline components of the member are expected to be present (step 301). Then, the image is made into a binary image by using an auto-thresholding technique (step 302). Remove unwanted noise components using a blob coloring technique (step 303). Detect edges using a Sobel Operator from a binary image from which the noise components have been removed (step 304). Then, a Hough Transform is performed on the linear component present region obtained above to detect various linear components. Only the two straight lines that are determined to be outlines of the member are extracted using the detected linear components and the CAD data. (Step 307) An intersection is obtained from these two straight lines to measure the position of the member vertices on the image. 308) When the precise position of two vertices is measured with respect to a member, the attitude of the member can be determined by the geometrical characteristics. In this way, when the precise position and posture of the member are determined, it is converted into spatial coordinates using previously obtained calibration data. (Step 309) In particular, by attaching a camera to the center position of the gantry axis of rotation, Matching the gantry coordinates facilitates the process of converting the position of the member to the spatial coordinates.

이상 서술한 바와 같이, 본 발명의 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법은 취부공정에서 1단계 영상처리를 수행하여 부재의 대략적인 위치와 자세를 파악한 후, 파악된 위치로 갠트리를 이동시켜 부재 근방에서 2단계의 영상처리를 수행하므로 부재의 정확한 위치와 자세를 자동으로 측정할 수 있다. 따라서, 본 발명은 조선 소조립공정에서 보다 정밀한 작업이 가능하며, 다른 부수적인 시설투자없이도 신속정확한 작업을 행할 수 있어 생산성을 향상하고 시설비를 절감할 수 있는 잇점을 가지고 있다.As described above, the method of measuring the position and posture of the ship small assembly member through the two-step image processing of the present invention is performed after the one-step image processing is performed in the mounting process to determine the approximate position and the posture of the member. By moving the gantry to the position, two-step image processing is performed near the member, so the exact position and posture of the member can be measured automatically. Therefore, the present invention has the advantage that can be more precise work in shipbuilding assembly process, can perform a quick and accurate work without any additional investment in facility, improve productivity and reduce the cost of facilities.

Claims (6)

조선 소조립라인에서 정확한 부재조립을 가능하게 하기 위해서 정반상에 재치된 부재의 위치 및 자세를 측정하는 시스템에 있어서,In the system for measuring the position and posture of the members placed on the surface plate to enable accurate assembly of parts in shipbuilding assembly line, 취부공정에서 천정에 취부된 한쌍의 카메라들로 영상을 획득하고 합성영상을 만들어 부재의 대략적인 위치와 자세를 파악하는 제 1영상처리단계; 및A first image processing step of acquiring an image with a pair of cameras mounted on the ceiling in a mounting process and making a composite image to determine an approximate position and posture of the member; And 상기 제 1영상처리단계에서 파악된 위치로 갠트리를 이동시키며 부재근방에서 갠트리회전축하방에 부착된 카메라로 영상을 얻어 영상처리를 행하여 부재의 정확한 위치와 자세를 측정하는 제 2영상처리단계를 포함하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법.And a second image processing step of moving the gantry to the position identified in the first image processing step and obtaining an image with a camera attached to the gantry rotation axis near the member to perform image processing to measure the exact position and posture of the member. Position and posture measuring method of ship assembly member through two-step image processing. 제 1항에 있어서, 상기 제 1영상처리단계는The method of claim 1, wherein the first image processing step 정반의 전영역에 대하여 측정을 가능하게 하기 위하여 두 대의 카메라로 영상을 획득한 후, 획득된 두 영상을 영상합성과정을 거쳐 하나의 영상으로 만드는 단계;Acquiring an image with two cameras in order to enable measurement of the entire surface of the surface plate, and then making the obtained two images into one image through an image synthesis process; 부재의 외곽선 정보로 이뤄진 CAD데이터를 이용하여 합성된 영상내에 나타나는 부재의 ID를 결정하는 단계;Determining an ID of a member appearing in the synthesized image by using CAD data including outline information of the member; 부재의 ID결정이 끝나면 부재의 외곽선 위치와 CAD데이터 외곽선 위치의 대응관계가 일치되도록 정렬시켜 CAD데이터에 대응하는 부재의 대략적 이동량과 회전량을 측정하는 단계;Measuring the movement and rotation of the member corresponding to the CAD data by arranging the ID of the member so that the correspondence relationship between the outline of the member and the position of the CAD data is aligned; 상기 측정된 영상좌표를 미리 구해둔 칼리브레이션(Calibration)데이터를 이용하여 이들 영상상의 점들을 공간상의 점으로 변환하여 부재의 이동량과 회전량을 측정하는 단계;Measuring the moving amount and the rotation amount of the member by converting the points on the image into points in space using calibration data obtained from the measured image coordinates; 한 부재에 대한 상기와 같은 일련의 과정이 끝난 후 정반상의 모든 부재의 이동량과 회전량을 측정하였는 지를 판단하는 단계;Determining whether the movement amount and the rotation amount of all the members on the surface plate were measured after the above-described series of processes for one member; 상기 판단단계에서 측정이 끝난 것으로 판단될 때에는 부재들 중 선단부재를 인식하여 선단부재의 위치를 구하는 단계;Determining the position of the tip member by recognizing the tip member among the members when it is determined that the measurement is finished in the determination step; 선단부재의 위치가 결정되면 부재선단과 정반끝의 거리차(Dx)를 구한 다음, 용접공정에 위치한 센서와 용접공정 정반끝점과의 거리차(dx)를 구하여 용접공정에서의 부재의 X좌표 X′를 산출하는 단계; 및When the position of the tip member is determined, the distance difference (Dx) between the tip of the member and the surface end is obtained, and then the distance difference (dx) between the sensor located in the welding process and the surface end point of the welding process is obtained, and the X coordinate of the member in the welding process Calculating ′; And 상기와 같이 측정된 모든 부재들의 이동량과 회전량을 이용하여 부재의 대략적 위치 및 자세를 인식하는 단계를 포함하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법.Method of measuring the position and attitude of shipbuilding assembly member through a two-stage image processing comprising the step of recognizing the approximate position and attitude of the member by using the movement amount and the rotation amount of all the members measured as described above. 제 2항에 있어서, 상기 판단단계에서 모든 부재에 대한 이동량과 회전량 측정이 끝나지 않은 것으로 판단될 경우에는 부재 ID결정단계로 되돌아가 전단계를 반복하는 것을 특징으로 하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법.The shipbuilding process of claim 2, wherein if it is determined that the movement amount and the rotation amount of all the members are not finished in the determination step, the process returns to the member ID determination step and repeats the previous step. Method of measuring position and posture of small assembly member 제 2항에 있어서, 취부공정과 용접공접에서 두 공정의 정반의 끝점과 부재의 상대적인 위치의 차이를 보정하기 위하여 용접공정에서의 부재의 X좌표 X′ 는 아래식과 같이 구해지는 것을 특징으로 하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법.The X coordinate X 'of the member in the welding process is calculated as follows in order to correct the difference between the end points of the surface plate of the two processes and the relative positions of the members in the mounting process and the welding weld. Position and posture measuring method of shipbuilding assembly through image processing of steps. 아래식Equation below X′= X + (Dx - dx), 여기서 X는 취부공정에서의 X좌표를 나타낸다.X '= X + (Dx-dx), where X represents the X coordinate in the mounting process. 제 1항에 있어서, 상기 제 2영상처리단계는The method of claim 1, wherein the second image processing step 취부공정의 작업이 모두 완료되고 부재들이 라인을 따라 용접공정으로 이동하여 부재들이 용접공정에 투입되었다는 외부센서의 신호가 입력되면 취부공정의 부재 1차 인식결과를 이용하여 영상획득순서를 스케쥴링하는 단계;After the installation process is completed and the members are moved to the welding process along the line and the signal from the external sensor is input that the members are put into the welding process, the image acquisition order is scheduled using the primary recognition result of the installation process. ; 스케쥴링이 끝나면 취부공정에서 구한 영상획득위치로 갠트리가 이동하며 갠트리회전축중심에 취부된 카메라로 영상을 순차적으로 획득하는 단계;When the scheduling ends, the gantry is moved to the image acquisition position obtained in the attaching process, and the images are sequentially acquired by a camera mounted at the center of the gantry rotation axis; 상기 획득한 영상들을 일련의 영상처리과정을 통하여 부재 꼭지점의 정밀위치를 측정하는 단계;Measuring the precise position of the vertex of the member through a series of image processing of the acquired images; 부재 꼭지점의 정밀측정이 끝난 후 모든 부재의 측정대상 꼭지점들의 위치를 측정하였는 지를 판단하는 단계; 및Determining whether the positions of the measurement target vertices of all the members are measured after the accurate measurement of the member vertices is finished; And 상기 판단단계에서 모든 부재의 측정이 완료되지 않은 것으로 판정되면 상기 영상획득단계로 되도록 가 전단계를 반복하며, 측정이 완료된 것으로 판정되면 모든 부재들의 영상처리결과를 이용하여 부재의 정밀위치 및 자세를 자동으로 인식하는 단계를 포함하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법.If it is determined that the measurement of all members is not completed in the determination step, the home appliance is repeated so as to obtain the image acquisition step. If the measurement is determined to be completed, the precision position and posture of the members are automatically determined by using the image processing results of all the members. Position and posture measuring method of shipbuilding assembly through the two-step image processing comprising the step of recognizing. 제 5항에 있어서, 상기 부재 꼭지점의 정밀위치를 측정하기 위한 상기 영상처리과정은The image processing process of claim 5, wherein the image processing for measuring the precise position of the member vertex is performed. 갠트리에 취부된 카메라로 획득한 영상을 메디안필터를 이용하여 전처리를 행하여 영상상의 노이즈를 제거하는 단계;Pre-processing the image acquired by the camera mounted on the gantry using a median filter to remove noise on the image; 영상상에 나타나는 부재의 꼭지점에 해당하는 CAD데이터의 꼭지점을 선택하고, 부재의 외곽직선성분들이 존재하리라고 예상되는 영역을 선택하는 단계;Selecting a vertex of CAD data corresponding to a vertex of the member appearing on the image, and selecting a region where the outline components of the member are expected to exist; 오토쓰레솔딩(Auto Thresholding)기법을 이용하여 영상을 이진영상화하는 단계;Binarizing the image using an Auto Thresholding technique; 상기 이진영상으로부터 브롭컬러링(Blob Coloring)기법을 이용하여 원하지 않는 노이즈성분들을 제거하는 단계;Removing unwanted noise components using a blob coloring technique from the binary image; 상기 노이즈성분들이 제거된 이진영상으로부터 소벨오퍼레이터(Sobel Operator)를 이용하여 에지들을 검출하는 단계;Detecting edges from a binary image from which the noise components are removed using a Sobel Operator; 앞에서 구한 직선성분 존재영역에 대하여 허프트랜스폼(Hough Transform)을 행하여 여러직선성분들을 검출하는 단계;Detecting a plurality of linear components by performing a Hough Transform on the linear component presence region obtained above; 상기 검출된 여러직선성분들과 CAD데이터를 이용하여 부재의 외곽직선이라 판단되는 두 직선들만을 추출하는 단계;Extracting only two straight lines determined as outlines of the member by using the detected multiple linear components and CAD data; 상기 두 직선으로부터 교점을 구하여 부재 꼭지점의 영상상에서의 위치를 측정하고, 상기 측정된 정밀위치를 갖고 기하학적인 특성에 의하여 부재의 자세를 구하는 단계; 및Obtaining an intersection point from the two straight lines to measure a position on the image of the vertex of the member, and obtaining the posture of the member by the geometric characteristic having the measured precise position; And 상기와 같이 얻어진 부재의 정밀위치와 자세를 미리 구해둔 칼리브레이션데이터를 이용하여 공간좌표로 변환하는 단계를 포함하는 2단계의 영상처리를 통한 조선 소조립부재의 위치 및 자세측정방법.A method for measuring the position and attitude of a ship small assembly member through a two-stage image processing comprising the step of converting the precise position and attitude of the member obtained as described above to spatial coordinates using the calibration data obtained in advance.
KR1019980001762A 1998-01-21 1998-01-21 Method for measuring the position and arrangement state of a sub-assembly member in a shipbuilding process via two-step vision system KR100266805B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980001762A KR100266805B1 (en) 1998-01-21 1998-01-21 Method for measuring the position and arrangement state of a sub-assembly member in a shipbuilding process via two-step vision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980001762A KR100266805B1 (en) 1998-01-21 1998-01-21 Method for measuring the position and arrangement state of a sub-assembly member in a shipbuilding process via two-step vision system

Publications (2)

Publication Number Publication Date
KR19990066116A true KR19990066116A (en) 1999-08-16
KR100266805B1 KR100266805B1 (en) 2000-09-15

Family

ID=19531896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980001762A KR100266805B1 (en) 1998-01-21 1998-01-21 Method for measuring the position and arrangement state of a sub-assembly member in a shipbuilding process via two-step vision system

Country Status (1)

Country Link
KR (1) KR100266805B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743908B1 (en) * 2005-12-29 2007-08-02 삼성중공업 주식회사 Method for measuring gap of hole/plate
US9561593B2 (en) 2012-10-04 2017-02-07 Electronics And Telecommunications Research Institute Working method using sensor and working system for performing same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743908B1 (en) * 2005-12-29 2007-08-02 삼성중공업 주식회사 Method for measuring gap of hole/plate
US9561593B2 (en) 2012-10-04 2017-02-07 Electronics And Telecommunications Research Institute Working method using sensor and working system for performing same

Also Published As

Publication number Publication date
KR100266805B1 (en) 2000-09-15

Similar Documents

Publication Publication Date Title
KR920004956B1 (en) Drawing figure recognition apparatus
US9533418B2 (en) Methods and apparatus for practical 3D vision system
EP2045772B1 (en) Apparatus for picking up objects
KR102056664B1 (en) Method for work using the sensor and system for performing thereof
US6751361B1 (en) Method and apparatus for performing fixturing in a machine vision system
JPH10253322A (en) Method and apparatus for designating position of object in space
CN111627072A (en) Method and device for calibrating multiple sensors and storage medium
CN112334760A (en) Method and device for locating points on complex surfaces in space
CN107527368B (en) Three-dimensional space attitude positioning method and device based on two-dimensional code
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
EP3322959B1 (en) Method for measuring an artefact
CN113822810A (en) Method for positioning workpiece in three-dimensional space based on machine vision
Fan et al. A shape-based stereo matching algorithm for binocular vision
JPS6332306A (en) Non-contact three-dimensional automatic dimension measuring method
CN113554616A (en) Online measurement guiding method and system based on numerical control machine tool
KR20170142379A (en) Apparatus for detect dimensional welding line of welding robot using image processing
Oh et al. Development of structured light based bin picking system using primitive models
KR100266805B1 (en) Method for measuring the position and arrangement state of a sub-assembly member in a shipbuilding process via two-step vision system
CN112419406A (en) Object detection device and computer program for object detection
El-Hakim A hierarchical approach to stereo vision
US11826919B2 (en) Work coordinate generation device
KR20060104304A (en) Recognition method of operation object for automatic welding using three dimensional marker measuring method
JPH03184747A (en) Automatic check-recognition device for workpiece in machine tool
JP2562047B2 (en) Position and orientation recognition method of target object
Bauer et al. Accuracy Analysis of Alignment Methods based on Reference Features for Robot-Based Optical Inspection Systems

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140602

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee