KR20220126936A - Image quality compensation system of the monitoring camera for hull welding by color separation image and brightness interval - Google Patents
Image quality compensation system of the monitoring camera for hull welding by color separation image and brightness interval Download PDFInfo
- Publication number
- KR20220126936A KR20220126936A KR1020210031284A KR20210031284A KR20220126936A KR 20220126936 A KR20220126936 A KR 20220126936A KR 1020210031284 A KR1020210031284 A KR 1020210031284A KR 20210031284 A KR20210031284 A KR 20210031284A KR 20220126936 A KR20220126936 A KR 20220126936A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- welding
- unit
- sensor
- light
- Prior art date
Links
- 238000003466 welding Methods 0.000 title claims abstract description 233
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000000926 separation method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000001931 thermography Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 4
- 229910044991 metal oxide Inorganic materials 0.000 claims description 4
- 150000004706 metal oxides Chemical class 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000004065 semiconductor Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000004438 eyesight Effects 0.000 abstract description 3
- 230000007935 neutral effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 5
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H04N5/23229—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
-
- G06T5/009—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H04N5/2253—
-
- H04N5/2254—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
- H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Coupling Of Light Guides (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
본 발명은 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템에 관한 것으로써, 본 발명의 제안 기술은 용접자의 시력을 보호하고 선체 용접 작업을 실시간으로 확인하면서 용접 작업 품질을 증가시킬 목적으로, 선체 용접 작업 시 중심부의 아크(arc) 발생에 의한 고 휘도의 백색광에 의해 영상 왜곡이 발생되는 경우, 실시간 용접 상태와 해당 이미지의 손실 영상의 왜곡 보정을 수행하기 위한 ND 필터(Neutral density filter, ND)와 밴드패스 필터를 적용 제안함과 이를 영상 처리에 적용하여 고 휘도 백색광원의 파장을 감쇄하여 중심부의 아크 용접 영상을 실시간으로 표시부를 통해 용접자에게 인지할 수 있게 하는 것과 더불어 용접자나 보조자, 현장 관리자가 작업 영상을 모니터를 통해 쉽게 관찰할 수 있게 하기 위해 색 분리 렌즈 어레이를 적용하여 적외선 영역, RGB 컬러영역, 흑백영역으로 파장대역별로 구분하여 제공할 수 있는 취약 환경에서도 보다 선명한 용접 영상을 얻을 수 있는 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템을 제안하고자 한다.The present invention relates to a quality compensation system for a monitoring camera of a color separation image and a hull welding image for each brightness section, and the proposed technology of the present invention protects the eyesight of a welder and improves the welding work quality while checking the hull welding work in real time. For the purpose of increasing the ND filter ( Neutral density filter (ND) and bandpass filter are proposed and applied to image processing to attenuate the wavelength of high-brightness white light source so that the welder can recognize the arc welding image in the center through the display unit in real time. In addition, a color separation lens array is applied so that welders, assistants, and site managers can easily observe the work image through the monitor. We propose a quality compensation system for monitoring camera for color separation images and hull welding images for each brightness section that can obtain clearer welding images.
최근, 카메라에 적용되는 CCD(Charge Coupled Device)이미지 센서, CMOS(Complementary Metal Oxide Semiconductor)이미지 센서, 적외선(Infra-red) 센서, 열화상(thermal image) 센서 등을 이용한 비전 시스템의 광학 센서들은 다양한 산업분야에 널리 적용되고 있다. 이들 산업분야 중 선박 및 자동차 산업 분야에서 고효율 접합 용접 기술에 접목하여 이미지 센서를 이용한 용접부 화상을 모니터링하는 기술들은, 일 예로, GTA(Gas Tungsten Arc) 용접에서 용접 토치와 동축으로 카메라를 설치하여 용융부의 폭을 측정한다거나, GMA(Gas Metal Arc)용접에서 CCD(Charge Coupled Device) 카메라의 셔터신호를 용접전류 신호와 동기화시켜 모니터링과 용입 깊이를 제어하는 연구 등이 다양하게 진행되어 왔다. Recently, optical sensors of a vision system using a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, an infrared (Infra-red) sensor, a thermal image sensor, etc. applied to a camera are various. It is widely applied in industrial fields. Among these industrial fields, technologies for monitoring weld images using an image sensor by grafting high-efficiency joint welding technology to high-efficiency joint welding technology among these industries are, for example, melting by installing a camera coaxial with a welding torch in GTA (Gas Tungsten Arc) welding. Various studies have been conducted to measure the width of a part or to control the depth of penetration and monitoring by synchronizing the shutter signal of the CCD (Charge Coupled Device) camera with the welding current signal in GMA (Gas Metal Arc) welding.
한편, 종래 등록특허공보 KR10-0561084호는 용접 모니터링 방법 및 장치에 관한 것으로서, 용접 모재 디스플레이 단계와 모니터링 화면상에 용접부위를 표시하는 표시단계와 실제 용접되는 용접모재의 용접상태가 감지되는 모니터링 단계와 수집된 용접품질에 관한 정보를 상기 디스플레이에 출력시키는 상태출력단계로 구성되는 용접모니터링 방법과 이를 실현시키는 GUI 화면을 포함하는 장치를 제안하고 있다. 또한, 종래 KR제10-0706488호는 실시간 용접조건 기록·분석 방법 및 장치에 관한 것이며, 용접 품질이 중요한 철 구조물 제작 시 자동 용접 중 용접상태를 파악하기 위한 용접조건 저장과 고강도 강을 용접할 때 규정된 각종 용접조건의 상태를 파악할 수 있는 동시에 모니터링 및 이를 분석할 수 있도록 하는 실시간 용접조건 기록·분석 방법을 제안하고 있다. 그러나, 이들 종래 기술들은 용접 작업 시 실시간 획득된 영상의 경우, 아크 광이 강한 영역에서는 이미지 센서가 가지는 분해능의 한계로 인해 RGB 컬러 화상만으로는 용접부의 중심 영역인 고 휘도 영역의 실제 획득 영상이 왜곡될 뿐만 아니라 아크 광의 화이트(백색광) 노이즈가 극대화되어 용접부의 상태 및 해당 이미지를 얻을 수 없어 용접작업 영역의 모니터링을 효율적으로 얻지 못하는 단점을 가지며, 이로 인해 실제 용접 부위가 에러 없이 정상 용접되었는지를 표시부에 의해 파악할 수 없게 되어 용접 작업 수행 후 다시 재확인 작업을 수행하는 불편함을 여전히 가진다고 할 수 있다.On the other hand, the prior art Patent Publication No. KR10-0561084 relates to a welding monitoring method and apparatus, a welding base material display step, a display step of displaying a welding site on the monitoring screen, and a monitoring step of detecting the welding state of the welding base material to be actually welded We propose a welding monitoring method consisting of a status output step of outputting the collected welding quality information on the display and a device including a GUI screen for realizing the welding monitoring method. In addition, conventional KR 10-0706488 relates to a method and apparatus for recording and analyzing real-time welding conditions, and when welding high-strength steel and storing welding conditions to automatically identify the welding state during welding when manufacturing a steel structure where welding quality is important We propose a real-time welding condition recording and analysis method that enables monitoring and analysis of the status of various prescribed welding conditions at the same time. However, in the case of images acquired in real-time during welding, these conventional techniques may distort the actual acquired image of the high luminance region, which is the center region of the weld, only with the RGB color image due to the limitation of the resolution of the image sensor in the region where the arc light is strong. In addition, as the white (white light) noise of the arc light is maximized, the status of the weld and the corresponding image cannot be obtained, so it is not possible to obtain the monitoring of the welding work area efficiently. It can be said that it cannot be grasped by the welding operation, so it can still be said that it has the inconvenience of performing the reconfirmation operation again after performing the welding operation.
하지만, 본 발명과 같이, 화질 보상 시스템에 ND 필터 적용 및 색 분리 소자의 영상 화질 보상 제어를 통해 색 분리 영상 및 밝기 구간별 용접 영상의 왜곡 없는 실시간 영상을 사용자에게 모니터링으로 제공함으로써, 보다 효율적인 선체 용접을 수행하는 색 분리 영상 및 밝기 구간별 선체 용접용 모니터링 카메라의 화질 보상 시스템을 종래 기술과 차별화하여 용접 부위의 상태를 확인할 수 있는 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 구조를 제안하고자 한다. However, as in the present invention, as in the present invention, by providing the user with a real-time image without distortion of the color separation image and the welding image for each brightness section through the application of the ND filter to the image quality compensation system and the image quality compensation control of the color separation element, a more efficient hull The quality of the color separation image for welding and the monitoring camera for hull welding by brightness section is differentiated from the prior art and the quality of the color separation image and the monitoring camera for the hull welding image for each brightness section that can check the condition of the welding area by differentiating the quality compensation system from the prior art We would like to propose the structure of the compensation system.
본 발명은 상기 종래기술의 왜곡 영상의 문제점을 해결하기 위한 화질 보상 시스템에 관한 것으로, 본 발명은 용접 시 극대화된 아크 광에 의한 백색광의 노이즈로 인한 왜곡된 용접 영상을 ND 필터를 적용하여 백색광을 저감시켜 사용자가 용접 작업 시, 모니터링 표시부로 저감된 용접 부위나 용접 상태를 쉽게 확인 시켜줄 수 있는 제안과 더불어 해당 파장대역 별 색 분리 영상 및 밝기 구간별 선체 용접용 영상을 실시간으로 모니터링 할 수 있는 용접 카메라의 화질 보상 시스템을 제공하고자 한다. 또한, 종래 왜곡된 용접 영상을 영상 처리 보정을 통해 선체 및 자동차 분야의 용접 작업 수행 시 실시간 용접 모니터링을 확보하여 용접 상태의 영상 및 아크 광의 영상 왜곡을 저감시킨 용접 확인 영상을 손쉽게 인지 및 수월한 작업을 수행할 수 있다는데 그 목적을 가진다.The present invention relates to a picture quality compensation system for solving the problem of the distorted image of the prior art, and the present invention is to apply an ND filter to a distorted welding image due to the noise of white light caused by arc light maximized during welding to obtain white light. In addition to a proposal that allows users to easily check the reduced welding area or welding status with the monitoring display unit during welding work, it is possible to monitor the color separation image for each wavelength band and the hull welding image for each brightness section in real time. To provide a camera quality compensation system. In addition, through image processing correction of the conventional distorted welding image, real-time welding monitoring is secured when performing welding work in the hull and automobile fields, so that the image of the welding state and the welding confirmation image that reduces the image distortion of the arc light can be easily recognized and performed easily. The purpose is that it can be done.
본 발명을 달성하기 위한 기술적 사상으로 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템에 있어서, 자동화 아크 용접을 수행하는 용접기부(200);와 영상 촬영을 위한 광 소스 원 별 입사광 센싱의 이미지센서, 열복사 센싱의 열화상 센서 및 적외선 센서, 광 라인 표시를 가지는 빔 센서를 가지는 센서 및 영상 카메라부(300);와 상기 센서 및 영상 카메라부로부터 촬영된 영상을 영상 화상를 보정 처리하는 PC부(400);와 상기 보정 처리된 영상을 통신 인터페이스(500)를 통해 원격지의 외부에서 용접 작업 영상을 모니터링하는 원격 모니터링 및 원격 관제부(600);를 포함하는 것을 특징으로 한다. As a technical idea for achieving the present invention, in the image quality compensation system of the monitoring camera for the color separation image and the hull welding image for each brightness section of the present invention, the
또한, 상기 용접기부(200)는 아크 용접하기 위한 용접 헤드(210)와; 하이브리드의 겸용 복합 용접을 할 수 있는 아크 토치부(220);와 용접 시편을 이동할 수 있게 이송 테이블을 가지는 XY 이동부(23);와 상기 아크 용접 시 용접 전류와 전압의 용접전원을 일정하게 공급하는 용접 전원 공급기(240);를 더 포함하는 것을 특징으로 한다. In addition, the
또한, 상기 센서 및 영상 카메라부(300)는 RGB 컬러필터를 사용하는 이미지 센서를 사용하는 영상 카메라(310)와; 열 온도를 검출하여 열복사에 대응한 열 스펙트럼분포의 화상을 획득할 수 있는 열화상 카메라(320)와; 상기 아크 용접 시 아크 광에 의한 왜곡된 이미지에 대해 용접 객체의 표면에 적외광을 검출하여 영상을 획득하는 적외선 카메라(330)와; 상기 아크 용접 시 용접 라인을 빔으로 표시하여 용접 이동 방향을 제공하는 적외선 라인빔(340);과 상기 센서 및 영상 카메라부와 PC부를 전기적 연결을 할 수 있는 영상 커넥터부(350);를 더 포함하는 것을 특징으로 한다.In addition, the sensor and
또한, 상기 PC 부(400)는 센서 및 영상 카메라부로부터 실시간으로 소스별 용접 촬영 영상을 분할하여 표시부에 표시하는 영상 표시부(410)와; 상기 실시간 소스별 촬영 용접 영상이나 용접 작업 전에 촬영된 1차 예비 촬영 영상의 캡처 영상을 카테고리화하여 저장하는 영상 저장부(420)와; 상기 소스별 용접 촬영 영상들을 영상 처리하는 영상 처리부(430);를 더 포함하는 것을 특징으로 한다.In addition, the
또한, 상기 영상 처리부(430)는 아크 용접 시 극대화된 아크 광에 의한 용접 촬영 영상의 왜곡을 저감하기 위해, 상기 아크 용접 전에 미리 타겟 영상을 예비 촬영하여 영상 저장부(420)에 저장하는 1차 예비 영상 획득부(440)와; 상기 아크 용접 작업이 이루어진 경우, 노출 시간을 짧게 가져가 저조도의 용접 촬영 영상을 획득하는 2차 저조도 영상 획득부(450)와; 상기 노출 시간은 노출 처리부(460)에 의해 단시간 노광 제어를 수행하되, 상기 1차 예비 영상 획득부(440)로부터 고조도의 장시간 노광 시간을 가지는 고 다이나믹레인지 영상을 획득함과 동시에 상기 적외선 라인빔(340)을 용접부위에 지속적으로 빔 표시될 수 있게 제어하는 용접 라인부(470)를 구성하며; 상기 제1 예비 영상과 제2 차 저조도 영상들은 서로 영상을 정합하여 상호 매칭하는 용접 영상 정합 및 매칭부(480)를 더 포함하며; 상기 아크 광의 영상인 화이트 노이즈의 광 세기를 저감하기 위해 ND 필터를 더 구성하되, 원하는 파장대역의 빛을 받기 위한 밴드 패스 필터가 더 포함하여 영상 왜곡을 보정하는 영상 왜곡 보정부(490);와 상기 용접 작업 시 빔에 의한 상기 용접 라인에 일치하지 않은 방향의 용접이 이루어진 경우, 에러를 안내하는 에러 알림부(490-1)와; 상기 왜곡된 영상을 영상 처리하여 해당 영상을 상기 원격 모니터링 및 원격 관제부(600)로 영상을 전송하는 영상 전송부(490-2)와; 상기 영상 전송은 통신 인터페이스(500)를 경유하여 전송되는 것;을 더 포함하는 것을 특징으로 한다.In addition, the
또한, 상기 2차 저조도 영상 획득부(450)는 소스별 입사광에 대한 용접 영상을 검출하는 아크 광 이미지 센서(450-1)와; 적외선 파장 대역을 검출하는 적외선 검출 센서(450-2)와; 열 복사 온도를 검출하여 온도 별 분포 스펙트럼을 검출하는 열 검출 센서(450-3)와; 상기 소스별 입사광을 이용한 센서들 중 사용자가 하나를 선택하여 선택된 상기 센서를 동작시키는 선택 스위치(450-4)와; 셔터의 속도를 조절하여 노출시간을 장시간과 단시간 노출 제어를 통해 고조도 용접 영상과 저조도 용접 영상을 구분하여 노출 시간을 제어하는 노출시간 제어부(450-5)와; 정확한 이미지를 계측하기 위해 상기 아크광의 세기를 줄여주기 위한 ND 필터와 밴드패스 필터를 적용하여 세기를 제어하는 ND 필터 및 밴드패스 필터 제어부(450-6)와; 상기 아크 광 이미지 센서(450-1)는 RGB 픽셀별 컬러필터를 구성하되, 상기 RGB 픽셀별 광신호를 제어하는 RGB 필터 제어부(450-7)와; 상기 RGB 필터는 카메라의 최대 분해능이 1,024(H)x1,024(H)의 픽셀로 CMOS (complementary metal oxide semiconductor)형의 10bit 단색 센서로, 촬영된 용접 이미지의 배율은 7배이고, 상기 밴드패스 필터는 광원의 파장인 532nm에 대해 의 투과 파장영역을 갖는 필터를 사용하는 것;을 더 포함하는 것을 특징으로 구성한다.In addition, the secondary low-illuminance
또한, 상기 2차 저조도 영상 획득부(450)는 아크 광에 의한 블러 현상이 발생한 용접 객체 영역을 열 분포 스펙트럼으로 분류하여 열화상 이미지를 생성하고 상기 분류된 열화상 이미지가 단시간 노광의 셔터 구동부(450-10)에 의해 셔터 속도를 제어한 후, 상기 1차 예비 영상과 노출 시간을 비교하여 열화상의 스펙트럼의 화이트 부분의 임계값을 제거하는 열화상 제어부(450-9)와; 상기 제거된 열화상 이미지를 저장하는 제1, 2차 이미지 저장부(450-12);를 더 포함하는 것을 특징으로 구성한다.In addition, the secondary low-illuminance
또한, 상기 2차 저조도 영상 획득부(450)는 단시간 노광 노출에 의한 용접 영상으로, 용접 객체가 XY 이송부(230)를 통해 이동할 경우 2차 저조도 영상의 객체를 추적하도록 상기 XY 이송부의 이동방향에 따른 객체 추적을 위한 센서 및 영상 카메라부(300)를 추적 이동하게 틸팅 이동방향을 용접 작업 방향과 일치시켜 2차 저조도 영상을 획득할 수 있도록 추적하는 2차 저조도 추적부(450-11);를 더 포함하는 것을 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템을 제안하는 것이다.In addition, the secondary low-illuminance
본 발명의 제안 기술은 화질 보상 시스템에 ND 필터 적용 및 색 분리 소자의 영상 화질 보상 제어를 통해 색 분리 영상 및 밝기 구간별 용접 영상의 왜곡 없는 실시간 영상을 사용자에게 모니터링으로 제공함으로써, 보다 효율적인 선체 용접을 수행하는 효율적 작업이 수행될 수 있는 것과 색 분리 영상 및 밝기 구간별 선체 용접용 모니터링 카메라의 화질 보상 시스템을 종래 기술과 차별화하여 영상 왜곡이 저감된 용접 부위의 상태를 확인할 수 있는 선체 용접 모니터링 카메라의 화질 보상 시스템의 이용으로 인해 선명한 타겟 영상을 제공 받을 수 있는 기대효과를 가진다.The proposed technology of the present invention provides the user with a real-time image without distortion of the color separation image and the welding image for each brightness section through the application of the ND filter to the image quality compensation system and the image quality compensation control of the color separation element, thereby more efficient hull welding It is a hull welding monitoring camera that can perform efficient work to perform and differentiate the image quality compensation system of the monitoring camera for hull welding by color separation image and brightness section from the prior art to check the condition of the welding area with reduced image distortion It has the expected effect of being provided with a clear target image due to the use of the image quality compensation system of
도 1은 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템(100)의 전체도
도 2는 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 용접기부(200)의 구성도
도 3은 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 센서 및 영상 카메라부(300)의 구성도
도 4는 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 PC부(400)의 구성도
도 5는 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 2차 저조도 영상 획득부(450)의 구성도1 is an overall view of the image
2 is a block diagram of the
3 is a configuration diagram of the sensor and the
4 is a configuration diagram of the
5 is a block diagram of the secondary low-illuminance
이하에서는 본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면(도 1 내지 5)을 참조하면서 상세히 설명하기로 한다.Hereinafter, the configuration and operation of the embodiment of the present invention will be described in detail with reference to the accompanying drawings (FIGS. 1 to 5).
도 1은 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템(100)의 전체도를 나타낸다. 상기 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템(100)은 5개의 대표 구성부로 구분할 수 있다. 용접기부(200), 센서 및 영상 카메라부(300), PC부(400), 통신 인터페이스(500) 및 원격 모니터링 및 원격 관제부(600)로 기술적 구성을 분리할 수 있다. 보다 구체적으로 설명하면, 도 1과 같이, 자동화 아크 용접을 수행하는 용접기부(200);와 영상 촬영을 위한 광 소스 원 별 입사광 센싱의 이미지센서, 열복사 센싱의 열화상 센서 및 적외선 센서, 광 라인 표시를 가지는 빔 센서를 가지는 센서 및 영상 카메라부(300);와 상기 센서 및 영상 카메라부로부터 촬영된 영상을 영상 화상를 보정 처리하는 PC부(400);와 상기 보정 처리된 영상을 통신 인터페이스(500)를 통해 원격지의 외부에서 용접 작업 영상을 모니터링하는 원격 모니터링 및 원격 관제부(600);를 포함하는 것을 특징으로 한다. 1 shows an overall view of the image
도 2는 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 용접기부(200)의 구성도를 나타낸다. 상기 용접기부(200)의 세부적 설명으로는 아크 용접하기 위한 용접 헤드(210)와; 하이브리드의 겸용 복합 용접을 할 수 있는 아크 토치부(220);와 용접 시편을 이동할 수 있게 이송 테이블을 가지는 XY 이동부(23);와 상기 아크 용접 시 용접 전류와 전압의 용접전원을 일정하게 공급하는 용접 전원 공급기(240);를 더 구성할 수 있다. 상기 용접 헤드(210)는 일측면에 광분할기(beam splitter)를 더 구성하여 용접 시 용접 시편에서 발생하는 왜곡 이미지 현상이나 블러 이미지 현상을 광의 신호로 분할하여 검출할 수 있다. 또한, 아크 용접, 토치 용접 및 레이저 등의 겸용 용접을 위한 외부 조명부인 그린 레이저 조명을 더 구성할 수 있고, 이를 통해, 입사광 집광이나 광 필터 설계 쉽고 상기 레이저 조명이 용접 용융지에 조사될 때 반사된 빛을 계측 검출하여 정확한 용접 이미지를 획득할 수 있는 효과를 가진다. 2 is a block diagram of the
도 3은 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 센서 및 영상 카메라부(300)의 구성도이다.3 is a configuration diagram of the sensor and the
상기 센서 및 영상 카메라부(300)는 RGB 컬러필터를 사용하는 이미지 센서를 사용하는 영상 카메라(310)와; 열 온도를 검출하여 열복사에 대응한 열 스펙트럼분포의 화상을 획득할 수 있는 열화상 카메라(320)와; 상기 아크 용접 시 아크 광에 의한 왜곡된 이미지에 대해 용접 객체의 표면에 적외광을 검출하여 영상을 획득하는 적외선 카메라(330)와; 상기 아크 용접 시 용접 라인을 빔으로 표시하여 용접 이동 방향을 제공하는 적외선 라인빔(340);과 상기 센서 및 영상 카메라부와 PC부를 전기적 연결을 할 수 있는 영상 커넥터부(350);를 더 포함하는 것을 특징으로 한다. 이때, 용접 사용자 또는 자동 용접 시스템의 경우, 소스별 센서 및 영상 카메라부(300)의 선택이 가능하고 필요에 의해 화상 왜곡이 발생하는 경우, 상기 적외선 카메라(330), 열화상 카메라(320)를 적용할 수 있다. 더하여 일반적인 RGB 이미지 센서를 이용한 경우, ND 필터(Neutral density filter, ND)와 밴드패스 필터를 겸용하여 연무나 아크 광에 의한 화이트 노이즈(백색 블러 현상)을 저감시켜 정확한 용접 이미지로 획득이 가능하다.The sensor and
도 4는 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 PC부(400)의 구성도를 나타낸다. 상기 PC 부(400)는 센서 및 영상 카메라부로부터 실시간으로 소스별 용접 촬영 영상을 분할하여 표시부에 표시하는 영상 표시부(410)와; 상기 실시간 소스별 촬영 용접 영상이나 용접 작업 전에 촬영된 1차 예비 촬영 영상의 캡처 영상을 카테고리화하여 저장하는 영상 저장부(420)와; 상기 소스별 용접 촬영 영상들을 영상 처리하는 영상 처리부(430);를 더 포함하는 것을 특징으로 한다.4 is a block diagram of the
상기 영상 처리부(430)는 아크 용접 시 극대화된 아크 광에 의한 용접 촬영 영상의 왜곡을 저감하기 위해, 상기 아크 용접 전에 미리 타겟 영상을 예비 촬영하여 영상 저장부(420)에 저장하는 1차 예비 영상 획득부(440)와; 상기 아크 용접 작업이 이루어진 경우, 노출 시간을 짧게 가져가 저조도의 용접 촬영 영상을 획득하는 2차 저조도 영상 획득부(450)와; 상기 노출 시간은 노출 처리부(460)에 의해 단시간 노광 제어를 수행하되, 상기 1차 예비 영상 획득부(440)로부터 고조도의 장시간 노광 시간을 가지는 고 다이나믹레인지 영상을 획득함과 동시에 상기 적외선 라인빔(340)을 용접부위에 지속적으로 빔 표시될 수 있게 제어하는 용접 라인부(470)를 구성하며; 상기 제1 예비 영상과 제2 차 저조도 영상들은 서로 영상을 정합하여 상호 매칭하는 용접 영상 정합 및 매칭부(480)를 더 포함하며; 상기 아크 광의 영상인 화이트 노이즈의 광 세기를 저감하기 위해 ND 필터를 더 구성하되, 원하는 파장대역의 빛을 받기 위한 밴드 패스 필터가 더 포함하여 영상 왜곡을 보정하는 영상 왜곡 보정부(490);와 상기 용접 작업 시 빔에 의한 상기 용접 라인에 일치하지 않은 방향의 용접이 이루어진 경우, 에러를 안내하는 에러 알림부(490-1)와; 상기 왜곡된 영상을 영상 처리하여 해당 영상을 상기 원격 모니터링 및 원격 관제부(600)로 영상을 전송하는 영상 전송부(490-2)와; 상기 영상 전송은 통신 인터페이스(500)를 경유하여 전송되는 것;을 더 포함하는 것을 특징으로 한다.The
도 5는 본 발명의 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템의 2차 저조도 영상 획득부(450)의 구성도를 나타낸다. 상기 2차 저조도 영상 획득부(450)는 소스별 입사광에 대한 용접 영상을 검출하는 아크 광 이미지 센서(450-1)와; 적외선 파장 대역을 검출하는 적외선 검출 센서(450-2)와; 열 복사 온도를 검출하여 온도 별 분포 스펙트럼을 검출하는 열 검출 센서(450-3)와; 상기 소스별 입사광을 이용한 센서들 중 사용자가 하나를 선택하여 선택된 상기 센서를 동작시키는 선택 스위치(450-4)와; 셔터의 속도를 조절하여 노출시간을 장시간과 단시간 노출 제어를 통해 고조도 용접 영상과 저조도 용접 영상을 구분하여 노출 시간을 제어하는 노출시간 제어부(450-5)와; 정확한 이미지를 계측하기 위해 상기 아크광의 세기를 줄여주기 위한 ND 필터와 밴드패스 필터를 적용하여 세기를 제어하는 ND 필터 및 밴드패스 필터 제어부(450-6)와; 상기 아크 광 이미지 센서(450-1)는 RGB 픽셀별 컬러필터를 구성하되, 상기 RGB 픽셀별 광신호를 제어하는 RGB 필터 제어부(450-7)와; 상기 RGB 필터는 카메라의 최대 분해능이 1,024(H)x1,024(H)의 픽셀로 CMOS (complementary metal oxide semiconductor)형의 10bit 단색 센서로, 촬영된 용접 이미지의 배율은 7배이고, 상기 밴드패스 필터는 광원의 파장인 532nm에 대해 의 투과 파장영역을 갖는 필터를 사용하는 것;을 더 포함하는 것을 특징으로 구성한다.5 shows the configuration of the secondary low-illuminance
상기 2차 저조도 영상 획득부(450)는 아크 광에 의한 블러 현상이 발생한 용접 객체 영역을 열 분포 스펙트럼으로 분류하여 열화상 이미지를 생성하고 상기 분류된 열화상 이미지가 단시간 노광의 셔터 구동부(450-10)에 의해 셔터 속도를 제어한 후, 상기 1차 예비 영상과 노출 시간을 비교하여 열화상의 스펙트럼의 화이트 부분의 임계값을 제거하는 열화상 제어부(450-9)와; 상기 제거된 열화상 이미지를 저장하는 제1, 2차 이미지 저장부(450-12);를 더 포함하되, 상기 2차 저조도 영상 획득부(450)는 단시간 노광 노출에 의한 용접 영상으로, 용접 객체가 XY 이송부(230)를 통해 이동할 경우 2차 저조도 영상의 객체를 추적하도록 상기 XY 이송부의 이동방향에 따른 객체 추적을 위한 센서 및 영상 카메라부(300)를 추적 이동하게 틸팅 이동방향을 용접 작업 방향과 일치시켜 2차 저조도 영상을 획득할 수 있도록 추적하는 2차 저조도 추적부(450-11);를 더 포함하는 것을 특징으로 한다. The secondary low-illuminance
더하여, 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템의 왜곡된 이미지의 영상 보정방법을 더 구체적으로 설명하면, 제1 차 영상을 CMOS 이미지 센서를 가지는 RGB 영상 카메라(310)로 용접 작업 전에 제1 차 영상을 획득하는 단계와 상기 제1 차 영상을 기초로 적외선 라인 빔을 상기 제1 차 영상에 조사하고, 용접 라인을 형성하여 작업자나 관리자가 용접 방향을 쉽게 인지하여 용접 작업을 수행할 수 있게 한다. 이후 제2 차 영상 획득은 저조도 영상을 획득하는 단계로, 노출시간을 짧게 가져가 단시간 노광 노출시간을 가지는 제2 차 저조도 영상을 획득하는 단계를 가진다. 이 때, 저조도 영상은 셔터 구동부에 의해 셔터 스피드의 단시간 노광을 기초하여 얻어진 영상을 나타낸다. 이후, 획득된 제1, 2차 영상을 정합 및 매칭 시키기 위해 영상 정합(합성) 및 매칭부(480)를 통해 일치시키는 단계를 가진다. 이 때, 아크 광의 세기가 극대화되어 아크 광 발생 영역이 왜곡된 상태로 보여질 경우, 사용자나 관리자는 ND 필터 및 밴드패스 필터를 자동 착탈형으로 부착 가능한 ND 필터 및 밴드패스 필터 제어부(450-6)를 통해 아크 광을 저감시킬 수 있다. 상기 ND 필터나 밴드패스 필터는 파장대역 별로 구분하여 광을 흡수 및 제거할 수 있으므로, 본 발명은 용접 용융지의 형상도 잘 보일 수 있는 ND 16에 셔터 스피드가 1/1,000sec인 경우와 ND 32에 1/500sec 인 경우를 사용할 수 있다. 이 때, 셔터 스피드가 빠를수록 정확한 이미지를 분리해 낼 수 있는 바, 파장대별 색분리 제어가 가능한 색분리 제어부(450-8)를 구성하여 제어하는 단계를 수행한다. 또한, 열화상 카메라에 의해 획득된 온도 분포의 카메라 영상도 저조도와 연관된 영상이므로, 단시간 노광 셔터 구동부(450-10)에 의해 셔터 스피드를 짧게 가져가도록 제어하여 구동할 수 있다.In addition, if the image correction method of the distorted image of the image quality compensation system of the monitoring camera that acquires the color separation image and the image for hull welding by each brightness section is described in more detail, the first image is an RGB image camera having a CMOS image sensor Acquiring a first image before welding with 310 and irradiating an infrared line beam to the first image based on the first image, forming a welding line, allows an operator or manager to easily determine the welding direction Recognizes and enables welding operations to be performed. Thereafter, the secondary image acquisition is a step of acquiring a low-illuminance image, and includes a step of acquiring a second low-illuminance image having a short exposure exposure time by shortening the exposure time. In this case, the low-illuminance image represents an image obtained based on short-time exposure of the shutter speed by the shutter driving unit. Thereafter, in order to match and match the obtained first and second images, a step of matching through the image matching (synthesis) and
왜곡된 아크광 영역이 용접 모재로부터 중심부 지점을 표시가 가능하도록 빔을 통해 라인을 도트화하여 조사할 수 있고, 용접 라인부(470)를 활용하여 상기 빔이 라인을 표시하여 용접 방향을 가이드 할 수 있도록 왜곡된 아크 광 영역의 중심부 지점을 표시하는 단계를 가진다. 이후에 빔에 조사된 라인 기준으로 XY 이송부가 이동하게 되면 일치된 라인을 정렬하기 위해 XY 위치 오차를 검출 및 위치 비교를 통해 XY 이송 라인을 정렬하는 단계를 가진다. 상기 XY 이송부는 보다 정밀한 위치 선정을 위해 상기 XY 이송부의 위치 이동과 같게 촬영 카메라의 틸팅 제어를 통해 용접 작업의 라인을 정렬할 수 있다. 이 때 상기 틸팅 제어는 XY 이동부를 이동시키거나 각각의 영상 카메라를 자동 이동시키기 위해 객체 추적 알고리즘을 적용하여 객체 추적을 수행하는 단계를 가진다. 상기 객체는 용접 부위의 아크 영역이 발생하는 지점과 용접 모재가 이동하는 목적 객체를 추적함으로서, 객체 추적이 가능해진다. 용접 모재의 작업 진행 방향이 카메라의 촬영 위치 및 왜곡된 영상으로 검출될 경우, 용접 에러 알림부(490-1)를 통해 오류를 안내할 수 있고, 상기 안내는 원격 모니터링 및 원격 관제부(600)에서 오디오나 시각적 알림 상태의 조명을 이용하여 인지할 수 있도록 하는 단계를 거친다. 상기 왜곡된 영상을 원격 관제부(600)의 표시부에 표시하는 단계를 거치고, 이 때, 상기 PC부(400)에서 왜곡된 영상인 아크광의 세기를 판별하고 이를 기초하여 연무, 아크 광 및 영상 블러의 현상이 발생한 경우에 ND 필터 및 밴드패스 필터의 장착을 작업자에게 지시하고 이를 통해 왜곡 영상을 보정하는 단계를 거친다. 이들 소스별 입사광의 영상들은 용접 작업자에게 선택적으로 용접 영상을 선택하여 적용시킬 수 있으며, 아크가 없는 토치 용접인 경우, 열화상 카메라를 적용하여 열 온도 별 스펙트럼 영상을 통해 사용자나 관리자에게 구분 표시할 수 있도록 화면 분할 및 열 온도별 이미지를 표시부에 표시하는 단계를 가진다. 또한 왜곡 영상을 사용자 맞춤으로 표시하기 위해, 색분리 제어부(450-8)에 의해, 색 분리 렌즈 어레이를 적용하여 적외선 영역, RGB 컬러영역, 흑백영역으로 파장대역별로 구분하여 제공할 수 있다. 이는 RGB 색필터나 적외광, 근적외광, 원적외광으로 파장대별 분류작업을 통해 취약 환경에서도 보다 선명한 용접 영상을 얻을 수 있는 색 분리 영상 및 밝기 구간별 선체 용접용 화상의 모니터링 카메라의 화질 보상 시스템을 제공할 수 있다.The distorted arc light area can be irradiated by dotting the line through the beam so that the center point can be marked from the welding base material, and the beam can guide the welding direction by using the
상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. The above embodiments may be configured by selectively combining all or part of each of the embodiments so that various modifications can be made.
410 영상 표시부
420 영상 저장부
430 영상 처리부
440 1차 예비 영상 획득부
450 2차 저조도 영상 획득부
460 노출 처리부
470 용접 라인부
480 영상 정합 및 매칭부
490 영상 왜곡 보정부 410
430
450 Secondary low-light
470
490 Image distortion correction unit
Claims (7)
자동화 아크 용접을 수행하는 용접기부(200);와
영상 촬영을 위한 광 소스 원 별 입사광 센싱의 이미지센서, 열복사 센싱의 열화상 센서 및 적외선 센서, 광 라인 표시를 가지는 빔 센서를 가지는 센서 및 영상 카메라부(300);와
상기 센서 및 영상 카메라부로부터 촬영된 영상을 영상 화상를 보정 처리하는 PC부(400);와
상기 보정 처리된 영상을 통신 인터페이스(500)를 통해 원격지의 외부에서 용접 작업 영상을 모니터링하는 원격 모니터링 및 원격 관제부(600);를 포함하는 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템.
In the image quality compensation system of the monitoring camera of the color separation image and the hull welding image for each brightness section,
Welder unit 200 for performing automated arc welding; and
An image sensor for sensing incident light for each light source for image capturing, a thermal image sensor and an infrared sensor for sensing thermal radiation, a sensor having a beam sensor having a light line display, and an image camera unit 300; and
PC unit 400 for correcting the image image captured by the sensor and the image camera unit; and
A remote monitoring and remote control unit 600 for monitoring the welding operation image from the outside of a remote location through the communication interface 500 for the corrected image to obtain a color separation image and a hull welding image for each brightness section, including a Image quality compensation system for monitoring cameras.
상기 용접기부(200)는
아크 용접하기 위한 용접 헤드(210)와; 하이브리드의 겸용 복합 용접을 할 수 있는 아크 토치부(220);와 용접 시편을 이동할 수 있게 이송 테이블을 가지는 XY 이동부(23);와 상기 아크 용접 시 용접 전류와 전압의 용접전원을 일정하게 공급하는 용접 전원 공급기(240);를 더 포함하는 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템.
The method of claim 1,
The welding machine 200 is
a welding head 210 for arc welding; An arc torch unit 220 capable of hybrid hybrid welding; and an XY moving unit 23 having a transfer table to move a welding specimen; and a constant supply of welding power of welding current and voltage during arc welding Welding power supply 240; further comprising a color separation image and image quality compensation system of a monitoring camera to obtain an image for welding the hull for each brightness section.
상기 센서 및 영상 카메라부(300)는
RGB 컬러필터를 사용하는 이미지 센서를 사용하는 영상 카메라(310)와; 열 온도를 검출하여 열복사에 대응한 열 스펙트럼분포의 화상을 획득할 수 있는 열화상 카메라(320)와; 상기 아크 용접 시 아크 광에 의한 왜곡된 이미지에 대해 용접 객체의 표면에 적외광을 검출하여 영상을 획득하는 적외선 카메라(330)와; 상기 아크 용접 시 용접 라인을 빔으로 표시하여 용접 이동 방향을 제공하는 적외선 라인빔(340);과 상기 센서 및 영상 카메라부와 PC부를 전기적 연결을 할 수 있는 영상 커넥터부(350);를 더 포함하는 것을 특징으로 하는 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템.
The method of claim 1,
The sensor and video camera unit 300 is
an image camera 310 using an image sensor using an RGB color filter; a thermal imaging camera 320 capable of detecting a thermal temperature and acquiring an image of a thermal spectrum distribution corresponding to thermal radiation; an infrared camera 330 for acquiring an image by detecting infrared light on the surface of a welding object with respect to an image distorted by arc light during arc welding; An infrared line beam 340 for providing a welding movement direction by displaying a welding line as a beam during arc welding; and an image connector unit 350 for electrically connecting the sensor and the image camera unit and the PC unit; The image quality compensation system of the monitoring camera for acquiring the color separation image and the hull welding image for each brightness section, characterized in that.
상기 PC 부(400)는
센서 및 영상 카메라부로부터 실시간으로 소스별 용접 촬영 영상을 분할하여 표시부에 표시하는 영상 표시부(410)와; 상기 실시간 소스별 촬영 용접 영상이나 용접 작업 전에 촬영된 1차 예비 촬영 영상의 캡처 영상을 카테고리화하여 저장하는 영상 저장부(420)와; 상기 소스별 용접 촬영 영상들을 영상 처리하는 영상 처리부(430);를 더 포함하는 것을 특징으로 하는 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템.
The method of claim 1,
The PC unit 400 is
an image display unit 410 for dividing the welding image by source in real time from the sensor and the image camera unit and displaying it on the display unit; an image storage unit 420 for categorizing and storing the captured images of the real-time source-specific welding images or the primary preliminary photographed images photographed before welding; The image processing unit 430 for image processing the welding captured images for each source; the image quality compensation system of the monitoring camera for acquiring the color separation image and the hull welding image for each brightness section, characterized in that it further comprises.
상기 영상 처리부(430)는
아크 용접 시 극대화된 아크 광에 의한 용접 촬영 영상의 왜곡을 저감하기 위해, 상기 아크 용접 전에 미리 타겟 영상을 예비 촬영하여 영상 저장부(420)에 저장하는 1차 예비 영상 획득부(440)와; 상기 아크 용접 작업이 이루어진 경우, 노출 시간을 짧게 가져가 저조도의 용접 촬영 영상을 획득하는 2차 저조도 영상 획득부(450)와; 상기 노출 시간은 노출 처리부(460)에 의해 단시간 노광 제어를 수행하되, 상기 1차 예비 영상 획득부(440)로부터 고조도의 장시간 노광 시간을 가지는 고 다이나믹레인지 영상을 획득함과 동시에 상기 적외선 라인빔(340)을 용접부위에 지속적으로 빔 표시될 수 있게 제어하는 용접 라인부(470)를 구성하며; 상기 제1 예비 영상과 제2 차 저조도 영상들은 서로 영상을 정합하여 상호 매칭하는 용접 영상 정합 및 매칭부(480)를 더 포함하며; 상기 아크 광의 영상인 화이트 노이즈의 광 세기를 저감하기 위해 ND 필터를 더 구성하되, 원하는 파장대역의 빛을 받기 위한 밴드 패스 필터가 더 포함하여 영상 왜곡을 보정하는 영상 왜곡 보정부(490);와 상기 용접 작업 시 빔에 의한 상기 용접 라인에 일치하지 않은 방향의 용접이 이루어진 경우, 에러를 안내하는 에러 알림부(490-1)와; 상기 왜곡된 영상을 영상 처리하여 해당 영상을 상기 원격 모니터링 및 원격 관제부(600)로 영상을 전송하는 영상 전송부(490-2)와; 상기 영상 전송은 통신 인터페이스(500)를 경유하여 전송되는 것;을 더 포함하는 것을 특징으로 하는 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템.
5. The method of claim 4,
The image processing unit 430 is
In order to reduce the distortion of the welding image due to the arc light maximized during arc welding, the first preliminary image acquisition unit 440 for pre-photographing the target image before the arc welding and storing it in the image storage unit 420; a secondary low-illuminance image acquisition unit 450 for acquiring a low-illuminance welding image by taking a short exposure time when the arc welding operation is performed; For the exposure time, a short exposure control is performed by the exposure processing unit 460 , but a high dynamic range image having a high illuminance and a long exposure time is obtained from the primary preliminary image acquisition unit 440 and the infrared line beam constituting a welding line portion 470 that controls the 340 to continuously display a beam on the welding portion; The first preliminary image and the second low-illuminance images further include a welding image matching and matching unit 480 for matching the images with each other; An image distortion correction unit 490 for correcting image distortion by further comprising an ND filter to reduce the light intensity of white noise, which is the image of the arc light, and further comprising a band pass filter for receiving light of a desired wavelength band; and an error notification unit 490-1 for guiding an error when welding in a direction that does not coincide with the welding line by the beam during the welding operation is performed; an image transmission unit 490-2 that processes the distorted image and transmits the image to the remote monitoring and remote control unit 600; The image transmission is transmitted via the communication interface 500; The image quality compensation system of the monitoring camera for acquiring the color separation image and the hull welding image for each brightness section, characterized in that it further comprises.
상기 2차 저조도 영상 획득부(450)는
소스별 입사광에 대한 용접 영상을 검출하는 아크 광 이미지 센서(450-1)와; 적외선 파장 대역을 검출하는 적외선 검출 센서(450-2)와; 열 복사 온도를 검출하여 온도 별 분포 스펙트럼을 검출하는 열 검출 센서(450-3)와; 상기 소스별 입사광을 이용한 센서들 중 사용자가 하나를 선택하여 선택된 상기 센서를 동작시키는 선택 스위치(450-4)와; 셔터의 속도를 조절하여 노출시간을 장시간과 단시간 노출 제어를 통해 고조도 용접 영상과 저조도 용접 영상을 구분하여 노출 시간을 제어하는 노출시간 제어부(450-5)와; 정확한 이미지를 계측하기 위해 상기 아크광의 세기를 줄여주기 위한 ND 필터와 밴드패스 필터를 적용하여 세기를 제어하는 ND 필터 및 밴드패스 필터 제어부(450-6)와; 상기 아크 광 이미지 센서(450-1)는 RGB 픽셀별 컬러필터를 구성하되, 상기 RGB 픽셀별 광신호를 제어하는 RGB 필터 제어부(450-7)와; 상기 RGB 필터는 카메라의 최대 분해능이 1,024(H)x1,024(H)의 픽셀로 CMOS (complementary metal oxide semiconductor)형의 10bit 단색 센서로, 촬영된 용접 이미지의 배율은 7배이고, 상기 밴드패스 필터는 광원의 파장인 532nm에 대해 의 투과 파장영역을 갖는 필터를 사용하는 것;을 더 포함하는 것을 특징으로 하는 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템.
6. The method of claim 5,
The secondary low-illuminance image acquisition unit 450 is
an arc light image sensor 450-1 for detecting a welding image with respect to incident light for each source; an infrared detection sensor 450-2 for detecting an infrared wavelength band; a heat detection sensor 450-3 for detecting a thermal radiation temperature and detecting a distribution spectrum for each temperature; a selection switch 450-4 for a user to select one of the sensors using the incident light for each source and to operate the selected sensor; an exposure time control unit 450-5 for controlling the exposure time by controlling the shutter speed and controlling the exposure time by dividing the high-illuminance welding image and the low-illuminance welding image through long-time and short-time exposure control; an ND filter and bandpass filter control unit 450-6 for controlling the intensity by applying an ND filter and a bandpass filter for reducing the intensity of the arc light to accurately measure the image; The arc light image sensor 450-1 includes a color filter for each RGB pixel, and an RGB filter control unit 450-7 for controlling the optical signal for each RGB pixel; The RGB filter is a CMOS (complementary metal oxide semiconductor) type 10-bit monochromatic sensor with a maximum resolution of 1,024(H)x1,024(H) pixels, and the magnification of the photographed welding image is 7 times, and the bandpass filter is the wavelength of the light source, 532 nm. Using a filter having a transmission wavelength range of; The image quality compensation system of the monitoring camera for acquiring the color separation image and the hull welding image for each brightness section, characterized in that it further comprises.
상기 2차 저조도 영상 획득부(450)는
아크 광에 의한 블러 현상이 발생한 용접 객체 영역을 열 분포 스펙트럼으로 분류하여 열화상 이미지를 생성하고 상기 분류된 열화상 이미지가 단시간 노광의 셔터 구동부(450-10)에 의해 셔터 속도를 제어한 후, 상기 1차 예비 영상과 노출 시간을 비교하여 열화상의 스펙트럼의 화이트 부분의 임계값을 제거하는 열화상 제어부(450-9)와; 상기 제거된 열화상 이미지를 저장하는 제1, 2차 이미지 저장부(450-12);를 더 포함하는 것을 특징으로 하는 색 분리 영상 및 밝기 구간별 선체 용접용 화상을 획득하는 모니터링 카메라의 화질 보상 시스템.
7. The method of claim 6,
The secondary low-illuminance image acquisition unit 450 is
After generating a thermal image by classifying the area of the welding object in which the blur caused by arc light has occurred into a thermal distribution spectrum, and controlling the shutter speed of the classified thermal image by the shutter driver 450-10 for short-time exposure, a thermal image controller 450-9 for comparing the exposure time with the primary preliminary image to remove a threshold value of a white portion of a spectrum of the thermal image; Quality compensation of the monitoring camera for acquiring the color separation image and the hull welding image for each brightness section, characterized in that it further comprises; first and secondary image storage units (450-12) for storing the removed thermal image image system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210031284A KR20220126936A (en) | 2021-03-10 | 2021-03-10 | Image quality compensation system of the monitoring camera for hull welding by color separation image and brightness interval |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210031284A KR20220126936A (en) | 2021-03-10 | 2021-03-10 | Image quality compensation system of the monitoring camera for hull welding by color separation image and brightness interval |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220126936A true KR20220126936A (en) | 2022-09-19 |
Family
ID=83460851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210031284A KR20220126936A (en) | 2021-03-10 | 2021-03-10 | Image quality compensation system of the monitoring camera for hull welding by color separation image and brightness interval |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220126936A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100561084B1 (en) | 2003-10-30 | 2006-03-15 | 이광원 | Method and devise of welding monitoring system with displaying weldment |
KR100706488B1 (en) | 2002-12-02 | 2007-04-10 | 현대중공업 주식회사 | Acquisition and Analysis system for real time monitoring welding condition |
-
2021
- 2021-03-10 KR KR1020210031284A patent/KR20220126936A/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100706488B1 (en) | 2002-12-02 | 2007-04-10 | 현대중공업 주식회사 | Acquisition and Analysis system for real time monitoring welding condition |
KR100561084B1 (en) | 2003-10-30 | 2006-03-15 | 이광원 | Method and devise of welding monitoring system with displaying weldment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7380697B2 (en) | Welding condition monitoring device | |
JP5338890B2 (en) | Laser welding welding position detection apparatus and welding position detection method | |
JP5354335B2 (en) | Laser processing quality determination method and apparatus | |
US8265474B2 (en) | Autofocus system | |
CN107803585B (en) | Laser processing machine and laser processing method | |
JPS6345911B2 (en) | ||
US5422673A (en) | Video camera with automatic focus control | |
JP4179558B2 (en) | Laser welding quality evaluation method and apparatus | |
US9538095B2 (en) | Imaging device for welding | |
EP1366847B1 (en) | Welding state monitoring device | |
JP2991424B2 (en) | Weld monitoring system | |
JP2001174696A (en) | Color image pickup unit | |
JP2001259883A (en) | Observing device, monitoring device, welding equipment, and method of welding work | |
KR20220126936A (en) | Image quality compensation system of the monitoring camera for hull welding by color separation image and brightness interval | |
JP4234661B2 (en) | Ball inspection method in wire bonding | |
JP2011015843A (en) | Ophthalmic apparatus | |
JPH05185228A (en) | Automatic welding device using welding head for welding parameter measurement and this welding head | |
JP3427619B2 (en) | Overhead wire imaging apparatus and method | |
JPH0260377A (en) | Automatic focus adjustment of industrial or military video camera | |
JP3243519B2 (en) | Laser processing status remote monitoring device | |
US9247220B2 (en) | Imaging apparatus including two image sensors having a different arrangement | |
JP2002239767A (en) | Device for monitoring laser beam machining and illuminator | |
JP2002205166A (en) | Display for welding state | |
JPH07143388A (en) | Video camera | |
JP7021870B2 (en) | Microscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |