KR20240019361A - 용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램 - Google Patents

용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램 Download PDF

Info

Publication number
KR20240019361A
KR20240019361A KR1020247001287A KR20247001287A KR20240019361A KR 20240019361 A KR20240019361 A KR 20240019361A KR 1020247001287 A KR1020247001287 A KR 1020247001287A KR 20247001287 A KR20247001287 A KR 20247001287A KR 20240019361 A KR20240019361 A KR 20240019361A
Authority
KR
South Korea
Prior art keywords
welding
image
behavior
phenomenon
measuring
Prior art date
Application number
KR1020247001287A
Other languages
English (en)
Inventor
아츠시 후쿠나가
다케시 고이케
Original Assignee
가부시키가이샤 고베 세이코쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 고베 세이코쇼 filed Critical 가부시키가이샤 고베 세이코쇼
Publication of KR20240019361A publication Critical patent/KR20240019361A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

용접 현상의 거동의 계측 방법으로서, 시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과, 상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과, 상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 공정을 갖는다.

Description

용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램
본 발명은, 용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램에 관한 것이다.
가스 메탈 아크 용접(이후, GMAW라고도 칭함)은, 용접 중에 있어서 일어나는 여러가지 용접 현상의 거동(이후, 용접 거동이라고 칭함)이 발생한다. 용접 거동 중에는, 예를 들면 스패터(spatter)나 흄(fume)과 같이, 용접 품질에 해를 주는 것도 있고, 종래, 실시간으로 용접 양부 판정이나 트레이서빌리티 등을 목적으로 하여, 이러한 용접 거동을 계측하는 방법이 요구되어 왔다.
종래의 계측 방법으로서, 특허문헌 1에서는, 화상 처리 수단을 이용하여, 스패터의 발생량 및 그 거동을 정확하게 측정하는 것을 과제로 한 스패터의 인식 방법 및 스패터 인식 장치가 개시되고 있다. 구체적으로는, 아크 용접 중에 아크 발생 위치 및 그 주위를 복수의 프레임 화상으로 촬상하고, 각 프레임 화상에 2치화 또는 다치화 처리를 실시하여 1 또는 복수의 고휘도의 고립 영역을 추출하고, 추출된 각 고립 영역의 위치 정보를 검출한다. 또한, 검출된 각 고립 영역의 위치 정보에 근거하여 연속하는 프레임 화상 간에 있어서의 고립 영역의 연속성의 유무를 판단하고, 연속성 있음으로 판단되는 일련의 고립 영역군을 아크 용접에 수반하여 발생한 하나의 스패터로서 인식하고 있다.
또, 특허문헌 2에서는, 비용을 억제하면서, 간편한 방법으로 스패터 수를 계수하는 것을 과제로 하고, 촬영 장치를 구비하는 운반 가능한 단말 장치가 행하는 스패터 계수 방법이 개시되고 있다. 구체적으로는, 용접 시에 있어서 스패터를 촬영 가능한 영역을 동화상으로 촬영하고, 촬영된 동화상을 구성하는 정지 화상마다, 정지 화상에 촬영되고 있는 스패터의 수를 카운트하는 스패터 계수 방법에 대해 개시되고 있다.
특허문헌 1：일본특허공개 제2008-126274호 공보 특허문헌 2：일본특허공개 제2019-188421호 공보
그러나, 용접 시에 계측을 필요로 하는 거동은 스패터만이 아니라, 예를 들면, 흄이나 용융지(molten pool)의 형상 등을 들 수 있다. 특허문헌 1 및 특허문헌 2에서는 용접 현상의 거동으로서, 스패터의 계측은 가능하지만, 다른 용접 거동을 동시에 복수 계측하는 것은 고려되어 있지 않다. 환언하면, 특허문헌 1이나 특허문헌 2는, 스패터 계측에 특화된 방법이다.
본원 발명에서는, 시각 센서에서 촬영한 촬영 화상에 근거하여, 용접 현상의 복수의 거동을 계측하는 것을 가능하게 하는 계측 방법, 및 그 장치, 시스템, 프로그램, 및 이것들을 이용한 용접 방법, 부가 제조 방법을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해서 본원 발명은 이하의 구성을 갖는다. 즉, 용접 현상의 거동의 계측 방법으로서,
시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 공정
을 갖는다.
또, 본원 발명의 다른 형태로서 이하의 구성을 갖는다. 즉, 용접 시스템으로서,
용접 장치와,
상기 용접 장치에 의한 용접 동작을 촬영하는 시각 센서와,
상기 시각 센서에 의해 촬영된 용접 화상을 이용하여, 용접 현상의 거동을 계측하는 계측 장치
를 갖고,
상기 계측 장치는,
상기 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 수단과,
상기 화상 처리 수단에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 수단과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 수단
을 갖는다.
또, 본원 발명의 다른 형태로서 이하의 구성을 갖는다. 즉, 용접 현상의 거동의 계측 장치로서,
시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 수단과,
상기 화상 처리 수단에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 수단과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 수단
을 갖는다.
또, 본원 발명의 다른 형태로서 이하의 구성을 갖는다. 즉, 용착 현상의 거동의 계측 방법으로서,
시각 센서에 의해 촬영된 용착 화상에 대해, 주목하는 용착 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용착 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용착 현상의 거동을 도출하는 도출 공정
을 갖는다.
또, 본원 발명의 다른 형태로서 이하의 구성을 갖는다. 즉, 프로그램으로서,
컴퓨터에,
시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 공정
을 실행시킨다.
본 발명에 의하면, 시각 센서에서 촬영한 촬영 화상에 근거하여, 용접 현상의 복수의 거동을 계측하는 것이 가능해진다.
도 1은 본원 발명의 일 실시 형태에 따른 용접 시스템의 구성예를 나타내는 개략도.
도 2는 본원 발명의 일 실시 형태에 따른 로봇 제어 장치의 구성예를 나타내는 개략도.
도 3은 본원 발명의 일 실시 형태에 따른 데이터 처리 장치의 기구 구성의 예를 나타내는 개략도.
도 4는 본원 발명의 일 실시 형태에 따른 처리의 흐름을 나타내는 흐름도.
도 5는 본원 발명의 일 실시 형태에 따른 각 색 성분 화상의 생성을 설명하기 위한 설명도.
도 6은 본원 발명의 일 실시 형태에 따른 요소 분류의 처리를 나타내는 흐름도.
도 7은 화상 내에 장애물이 포함되는 경우를 설명하기 위한 설명도.
도 8은 본원 발명의 일 실시 형태에 따른 화상의 변천을 설명하기 위한 설명도.
도 9는 본원 발명의 일 실시 형태에 따른 화상의 변천을 설명하기 위한 설명도.
이하, 본원 발명을 실시하기 위한 형태에 대해 도면 등을 참조하여 설명한다. 또한, 이하에 설명하는 실시 형태는, 본원 발명을 설명하기 위한 일 실시 형태이며, 본원 발명을 한정하여 해석되는 것을 의도하는 것은 아니고, 또, 각 실시 형태에서 설명되어 있는 모든 구성이 본원 발명의 과제를 해결하기 위해 필수의 구성이라고는 할 수 없다. 또, 각 도면에 있어서, 동일한 구성 요소에 대해서는, 동일한 참조 번호를 붙이는 것에 의해 대응 관계를 나타낸다.
또, 본원 발명에 따른 용접 거동을 계측하는 방법은 용접뿐만이 아니라, GMAW를 활용한 부가 제조 기술, 구체적으로는, 금속 적층 조형 기술(WAAM：Wire and Arc Additive Manufacturing)에 있어서도 유용하다. 또한, 부가 제조라는 용어는, 광의에서는 적층 조형 또는 래피드 프로토타이핑의 용어로 이용되는 경우가 있지만, 본원 발명에 있어서는, 통일하여 부가 제조의 용어를 이용한다. 본원 발명에 따른 수법을 부가 제조 기술에 활용하는 경우는, 「용접」을 「용착」, 「부가 제조」 또는 「적층 조형」 등으로 바꾸어 말할 수 있다. 예를 들면, 용접으로서 취급하는 경우는 「용접 거동」으로 되지만, 부가 제조로서 본원 발명을 활용하는 경우는, 「용착 거동」이라고 바꾸어 말하거나, 용접으로서 취급하는 경우는 「용접 시스템」으로 되지만, 부가 제조로서 본원 발명을 활용하는 경우는, 「부가 제조 시스템」으로 바꾸어 말하거나 할 수 있다.
＜제1 실시 형태＞
이하, 본원 발명에 따른 일 실시 형태에 대해 도면을 참조하면서 설명한다.
［용접 시스템의 구성］
도 1은, 본 실시 형태에 따른 용접 시스템(1)의 구성예를 나타낸다. 도 1에 나타내는 용접 시스템(1)은, 용접 로봇(10), 로봇 제어 장치(20), 전원 장치(30), 시각 센서(40), 및 데이터 처리 장치(50)를 포함하여 구성된다. 또한, 본원 발명에 따른 수법을 부가 제조에 적용하여 이용하는 경우는, 예를 들면, 용접 시스템(1)을 부가 제조 시스템, 용접 로봇(10)을 부가 제조용 로봇으로 바꾸어 읽어도 좋다.
도 1에 나타내는 용접 로봇(10)은, 6축의 다관절 로봇에 의해 구성되고, 그 선단부에는 GMAW용의 용접 토치(11)가 부착되어 있다. 또한, GMAW에는, 예를 들면 MIG(Metal InertGas) 용접이나 MAG(Metal Active Gas) 용접이 있고, 본 실시 형태에서는 MAG 용접을 예로 들어 설명한다. 또, 용접 로봇(10)은 6축의 다관절 로봇에 한정된 것은 아니고, 예를 들면 운반 가능형의 소형 로봇을 채용해도 좋다.
용접 토치(11)에는, 와이어 송급 장치(12)로부터 용접 와이어(13)가 공급된다. 용접 와이어(13)는, 용접 토치(11)의 선단으로부터 용접 개소를 향해 송출된다. 전원 장치(30)는, 용접 와이어(13)에 전력을 공급한다. 이 전력에 의해, 용접 와이어(13)와 워크 W 사이에는 아크 전압이 인가되고, 아크가 발생한다. 전원 장치(30)에는, 용접 중의 용접 와이어(13)로부터 워크 W에 흐르는 용접 전류를 검출하는 도시하지 않는 전류 센서, 및 용접 와이어(13)와 워크 W 사이의 아크 전압을 검출하는 도시하지 않는 전압 센서가 마련되어 있다.
전원 장치(30)는, 도시하지 않는 처리부와 기억부를 갖는다. 처리부는, 예를 들면, CPU(Central Processing Unit)에 의해 구성된다. 또, 기억부는, 예를 들면, HDD(Hard Disk Drive), ROM(Read Only Memory)이나 RAM(Random Access Memory) 등의 휘발성이나 비휘발성의 메모리에 의해 구성된다. 처리부가, 기억부에 기억된 전원 제어용 컴퓨터 프로그램을 실행하는 것에 의해, 용접 와이어(13)에 인가하는 전력을 제어한다. 전원 장치(30)는, 와이어 송급 장치(12)에도 접속되고, 처리부가 용접 와이어(13)의 송급 속도나 송급량을 제어한다.
용접 와이어(13)의 조성이나 종류는, 용접 대상에 따라 나누어 사용된다. 또한, 본 실시 형태에 따른 용접 거동은, 상술한 스패터, 흄에 부가하여 아크 편향, 아크압, 용융지 상의 산화물 피복량, 용적 이행 형태, 용적 이탈 주기, 합선 횟수, 피트 등의 용접 결함의 발생 등을 들 수 있다.
시각 센서(40)는, 예를 들면, CCD(Charge Coupled Device) 카메라에 의해 구성된다. 시각 센서(40)의 배치 위치는 특별히 상관없고, 용접 로봇(10)에 직접 부착해도 좋고, 또, 감시 카메라로서 주변의 특정 장소에 고정되어도 좋다. 용접 로봇(10)에 시각 센서(40)를 직접 부착한 경우에는, 시각 센서(40)는, 용접 로봇(10)의 동작에 맞추어, 용접 토치(11)의 선단 주변을 촬영하도록 이동한다. 시각 센서(40)를 구성하는 카메라의 대수는 복수라도 좋다.
또, 시각 센서(40)에 의해 촬영하는 방향도 특별히 상관없고, 예를 들면, 용접이 진행하는 방향을 전방으로 한 경우에, 전방측을 촬영하도록 배치해도 좋고, 측면측, 후방측을 촬영하도록 배치해도 좋다. 따라서, 시각 센서(40)에 의한 촬영 범위는, 계측 대상의 용접 거동에 의해, 적절히 결정하면 좋다. 또한, 스패터, 흄을 대상으로 하는 경우는, 용접 토치(11)의 간섭을 억제하기 위해서, 전방측으로부터 촬영하는 것이 바람직하다.
본 실시 형태에 있어서는, 특정 장소에 고정한 시각 센서(40)를 이용하여, 적어도, 워크 W, 용접 와이어(13), 및 아크가 포함되는 촬상 범위로 되도록, 용접 화상으로서 동화상을 촬상한다. 또한, 용접 화상과 관련되는 각종 촬영 설정은, 미리 규정되어 있어도 좋고, 용접 시스템(1)의 동작 조건에 따라 전환되어도 좋다. 촬영 설정으로서는, 예를 들면, 프레임 레이트, 화상의 픽셀수, 해상도, 셔터 스피드 등을 들 수 있다.
용접 시스템(1)을 구성하는 각 부위는, 유선/무선의 각종 통신 방식에 의해, 통신 가능하게 접속된다. 여기서의 통신 방식은, 1개로 한정하는 것은 아니라, 복수의 통신 방식을 조합하여 접속되어도 좋다.
［로봇 제어 장치의 구성］
도 2는, 용접 로봇(10)의 동작을 제어하는 로봇 제어 장치(20)의 구성예를 나타낸다. 로봇 제어 장치(20)는, 장치 전체를 제어하는 CPU(201), 데이터를 기억하는 메모리(202), 복수의 스위치를 포함하는 조작 패널(203), 교시 작업에서 사용하는 교시 팬던트(204), 로봇 접속부(205), 및 통신부(206)를 포함하여 구성된다. 메모리(202)는, 예를 들면, ROM, RAM, HDD 등의 휘발성이나 비휘발성의 기억 장치에 의해 구성된다. 메모리(202)에는, 용접 로봇(10)의 제어에 이용되는 제어 프로그램(202A)이 기억된다. CPU(201)는, 제어 프로그램(202A)을 실행하는 것에 의해, 용접 로봇(10)에 의한 각종 동작을 제어한다.
로봇 제어 장치(20)에 대한 지시의 입력에는, 주로 교시 팬던트(204)가 이용된다. 교시 팬던트(204)는, 통신부(206)를 거쳐, 로봇 제어 장치(20) 본체에 접속된다. 오퍼레이터는, 교시 팬던트(204)를 사용하여, 교시 프로그램을 입력할 수 있다. 로봇 제어 장치(20)는, 교시 팬던트(204)로부터 입력된 교시 프로그램에 따라 용접 로봇(10)의 용접 동작을 제어한다. 또한, 교시 프로그램은, 예를 들면 도시하지 않는 컴퓨터를 이용하여, CAD(Computer-Aided Design) 정보 등에 근거하여 자동적으로 작성하는 것도 가능하다. 교시 프로그램에서 정의되는 동작 내용은, 특히 한정하는 것은 아니고, 용접 로봇(10)의 사양이나 용접 방식에 따라 달라도 좋다.
로봇 접속부(205)에는, 용접 로봇(10)의 구동 회로가 접속되어 있다. CPU(201)는, 제어 프로그램(202A)에 근거하는 제어 신호를, 로봇 접속부(205)를 거쳐 용접 로봇(10)이 구비하는 도시하지 않는 구동 회로에 출력한다.
통신부(206)는, 유선 또는 무선 통신용의 통신 모듈이다. 통신부(206)는, 전원 장치(30)나 데이터 처리 장치(50)와의 데이터 통신에 사용된다. 통신부(206)에서 이용되는 통신의 방식이나 규격은 특히 한정하는 것은 아니고, 복수의 방식이 조합되어도 좋다. 전원 장치(30)로부터는, 예를 들면 도시하지 않는 전류 센서에 의해 검출된 용접 전류의 전류치나, 도시하지 않는 전압 센서에 의해 검출된 아크 전압의 전압치가 통신부(206)를 거쳐 CPU(201)에 부여된다.
로봇 제어 장치(20)는, 용접 로봇(10)의 각 축의 제어에 의해, 용접 토치(11)의 이동 속도나 돌출 방향도 제어한다. 또, 로봇 제어 장치(20)는, 설정된 주기, 진폭, 용접 속도에 따라, 용접 로봇(10)의 위빙 동작도 제어한다. 위빙 동작이란, 용접의 진행 방향에 대해서 교차하는 방향으로 용접 토치(11)를 교대로 요동(搖動)시키는 것을 말한다. 로봇 제어 장치(20)는, 위빙 동작과 함께, 용접선 모방 제어를 실행한다. 용접선 모방 제어는, 용접선에 따라 비드가 형성되도록, 용접 토치(11)의 진행 방향에 대해서 좌우의 위치를 제어하는 동작이다. 또, 로봇 제어 장치(20)는, 전원 장치(30)를 거쳐 와이어 송급 장치(12)를 제어하는 것으로, 용접 와이어(13)의 송급 속도 등도 제어한다.
［데이터 처리 장치의 구성］
도 3은, 데이터 처리 장치(50)의 기능 구성의 예를 설명하기 위한 도면이다. 데이터 처리 장치(50)는, 예를 들면, 도시하지 않는 CPU, ROM, RAM, 하드 디스크 장치, 입출력 인터페이스, 통신 인터페이스, 영상 출력 인터페이스 등에 의해 구성된다. 데이터 처리 장치(50)는, 상기의 각 구성 부위가 제휴하는 것에 의해, 기억부(501), 화상 처리부(502), 화상 분할부(503), 산출부(504), 및 표시부(505)를 실현한다. 또, 시각 센서(40)가 고정의 감시 카메라인 경우에는, 데이터 처리 장치(50)는, 시각 센서 제어부(506)를 더 구비한다. 또한, 화상 처리부(502), 화상 분할부(503), 산출부(504), 표시부(505)에서 행해지는 일련의 공정은, 데이터 처리 장치(50)에 위에 인스톨된 소프트웨어에 의해 이루어져도 좋다.
기억부(501)는, 시각 센서(40)에서 촬상한 화상 데이터를 기록, 관리하고, 각 처리부로부터의 요구에 따라 화상 데이터를 제공한다. 여기서 말하는 화상 데이터는, 정지 화상 데이터라도 좋고, 정지 화상 데이터를 임의의 프레임 레이트에 있어서 연속하여 촬상한 동화상의 데이터라도 좋다. 여기서 말하는 프레임 레이트는, 예를 들면 1초간 등의 소정 시간 간격에 있어서 시각 센서(40)에서 촬상하는 정지 화상 데이터의 매수를 나타낸다. 바람직하게는, 1~10FPS(Frames Per Second)의 범위에서 결정하면 좋다. 또한, 실시간으로 용접 거동의 계측이나 트레이서빌리티로서 활용하는 경우에 있어서는, 동화상으로서 기록해 가는 것이 바람직하다.
화상 처리부(502)는, 기억부(501)에 기억된 화상 데이터를 이용하여, 본 실시 형태에 따른 계측을 위한 전처리를 행한다. 전처리로서는, 예를 들면, 콘트라스트 보정, 밝기 보정, 색보정, 2치화 등의 흑백 화상 변환, 노이즈 제거, 에지 강조, 수축·팽창, 화상 특징 추출 등을 들 수 있다. 본 실시 형태에 따른 화상 처리의 구체적인 예에 대해서는 후술한다.
화상 분할부(503)는, 화상 처리부(502)에 있어서 각종 화상 처리를 적용한 처리 화상 데이터에 근거하여, 미리 정한 구성 요소마다 복수의 화상으로 분할한 분할 화상을 작성한다. 또한, 미리 정한 구성 요소는, 용접 거동으로서의 스패터, 흄, 아크광이나, 용접 시스템(1)의 구성물인 용접 와이어(13)나 노즐, 모재, 용융지, 장애물, 그 이외의 배경 등을 들 수 있다. 여기에서는, 스패터, 흄, 아크광에 특히 주목하여 설명을 행한다. 또한, 화상 처리부(502)에서 행해지는 처리는, 화상 분할부(503)의 분할 화상을 생성하기 위한 전처리로 한정하는 것은 아니다. 필요에 따라서, 분할 화상에 대해서 화상 처리부(502)가 처리를 행해도 좋다.
산출부(504)는, 분할 화상이나 처리 화상 데이터에 근거하여, 용접 거동으로서의 스패터, 흄, 아크광을 정량적으로 계측하기 위한 각종 지표치를 산출한다. 여기서의 산출은, 예를 들면, 시계열순으로 행해지는 것이 바람직하다. 여기서 말하는 시계열은, 예를 들면, 경과 시간, 교시 프로그램순, 동화상을 구성하는 연속한 정지 화상 데이터순 등을 들 수 있다.
표시부(505)는, 산출부(504)에 의한 산출 결과에 근거하여 구성되는 화면을 표시한다. 또, 표시부(505)는, 전류 센서(41)나 전압 센서(42)에서 검출된 값이나, 로봇 제어 장치(20)로부터 취득한 각종 정보를 화면 상에서 표시시킨다. 산출부(504)에 의해 시계열에 따라 산출된 결과는, 예를 들면, 용접 전류, 아크 전압 등의 데이터와 시계열을 동기시켜 표시시키는 것이 바람직하다.
시각 센서 제어부(506)는, 시각 센서(40)의 촬영 동작을 제어한다. 예를 들면, 시각 센서(40)가 용접 로봇(10) 이외에 대한 설치형인 경우에는, 시각 센서(40)로서 적어도 PTZ 기능을 갖는 카메라를 채용하는 것이 바람직하고, 그 팬(Pan), 틸트(Tilt), 줌(Zoom) 등을 용접 로봇(10)의 동작에 맞추어 제어해도 좋다. 또, 시각 센서 제어부(506)는, 로봇 제어 장치(20)로부터 용접 로봇(10)의 동작에 관한 정보를 취득하고, 그 정보에 근거하여 시각 센서(40)의 동작을 제어해도 좋다.
［계측 방법］
도 4는, 화상 데이터로부터 복수의 용접 거동을 계측할 때의 일련의 흐름을 설명하기 위한 도면이다. 도 4에서는, 용접 거동의 일례인 스패터, 흄, 및 아크광을 계측하는 일련의 처리를 나타내고 있지만, 이들 전부를 계측할 필요는 없고, 그 일부를 계측하는 구성이어도 좋다. 또, 도 4에서는, 예를 들면, 하나의 용접 거동에 대해서, 복수의 지표치를 산출하고 있지만, 반드시 모든 지표치를 산출할 필요는 없고, 하나의 용접 거동에 대해서 하나의 지표치를 산출하도록 바꾸어도 좋다. 또한, 본 실시 형태는, 트레이서빌리티를 목적으로 하여, 용접 종료 후의 동화상 데이터를 처리한 예이지만, 처리는 용접 종료 후에 한정하지 않고, 용접 동작과 병행하여, 즉 실시간으로 이하에 나타내는 처리를 행해도 좋다.
도 4의 처리 흐름은, 용접 동작과 병행하여, 또는, 용접 시에 촬영된 화상을 이용하여, 용접 거동을 측정할 때에, 데이터 처리 장치(50)의 처리부가, 기억부에 기억된 프로그램을 판독하여 실행하는 것에 의해, 도 3에 나타낸 각 부위를 기능시키는 것으로 실현되어도 좋다.
S401에서, 데이터 처리 장치(50)는, 처리 대상으로 되는 동화상 데이터를 취득한다. 여기에서는, 프레임 레이트, 셔터 스피드 등의 촬상 조건을 시각 센서(40)에 설정하고, 시각 센서(40)에 의해 촬영 대상으로 되는 용접 위치의 범위가 동화상 데이터로서 촬상된다. 촬상 조건은, 작업자가 임의의 값으로 설정해도 좋고, 미리 규정된 고정치가 이용되어도 좋다. 촬영한 동화상 데이터는, 데이터 처리 장치(50)의 기억부(501)에 직접 저장해도 좋고, 시각 센서(40) 자체에 메모리가 있는 경우는, 시각 센서(40)의 메모리에 일단 저장한 후에, 기억부(501)에 동화상 데이터를 이행시켜도 좋다. 또한, 이후의 처리는, 동화상 데이터에 포함되는 복수의 정지 화상 데이터 각각에 대해 처리가 행해진다.
S402에서, 데이터 처리 장치(50)는, 취득한 동화상 데이터에 대해서, 색 성분 분해 처리를 행한다. 본 실시 형태에 따른 동화상 데이터는, 예를 들면, 각 화소가 Red, Green, Blue의 색 성분을 나타내는 RGB 신호로 구성되는 색 화상에 의해 구성된다. RGB 신호는 예를 들면, 각 색 성분을 8비트로 하고, 1 화소당 계 24비트로 나타난다. 이 경우, 각 색 성분에 대응하는 신호치는 0~255의 값을 취한다. 여기서의 색 성분 분해 처리에서는, 각 색 성분에 주목하고, RGB마다의 색 성분으로 나눈 동화상 데이터가 작성된다. 환언하면, 하나의 동화상 데이터로부터, R의 색 성분만의 동화상 데이터, G의 색 성분만의 동화상 데이터, 및 B의 색 성분만의 동화상 데이터로 분할하여 생성한다. 보다 구체적으로는, R의 색 성분만의 동화상 데이터를 생성하는 경우, 동화상 데이터의 G 및 B의 신호치를 0으로 변환하는 것에 의해, 색 성분 분해 처리가 행해진다.
도 5는, 동화상 데이터로부터 RGB 각각의 색 성분만의 동화상 데이터의 생성을 설명하기 위한 도면이다. 도 5에 도시하는 바와 같이, 동화상 데이터에 포함되는 임의의 하나의 정지 화상 데이터로부터 생성되는 3개의 색 성분만의 정지 화상 데이터는, 각각 다른 표현으로 되고, 동일한 용접 거동이 생긴 경우라도 다른 특징이 파악된다. 이하, R의 색 성분만의 정지 화상 데이터, G의 색 성분만의 정지 화상 데이터, B의 색 성분만의 정지 화상 데이터를 각각 「적색 성분 화상」, 「녹색 성분 화상」, 「청색 성분 화상」으로 칭하여 설명한다.
본원 발명자는, 실험이나 검증 등의 결과, 청색 성분 화상은, 열 에너지광에 대해, 명확하게 확인할 수 있는 것을 찾아냈다. 열 에너지광은, 아크광 또는 흄에 관련하는 사상이다. 즉, 청색 성분 화상을 이용하는 것에 의해, 열 에너지광에 있어서의 농담(濃淡)이 희미한 광을 추출할 수 있고, 이 희미한 광에 근거하여, 지금까지는 추출이 곤란했던 주위에 확산하는 흄을 산출하는 것을 가능하게 한다.
또, 본원 발명자는, 실험이나 검증 등의 결과, 적색 성분 화상은, 금속, 슬러그 등의 고온 발광에 있어서, 명확하게 확인할 수 있는 것을 찾아냈다. 즉, 적색 성분 화상을 이용하는 것으로, 그것에 포함되는 고온 발광에 근거하여, 스패터나 용융지, 혹은 입자 밀도가 높은 흄을 파악하는 것이 가능해진다. 이하, 화상 상에 있어 입자 밀도가 높은 흄을 「진한 흄」, 입자 밀도가 낮은 흄을 「옅은 흄」이라고도 기재한다. 또한, 여기서의 농담은 상대적인 것이며, 그 농도치가 한정되는 것은 아니다.
각 RGB 성분으로 분해하는 처리를 행하는 것에 의해, 여러 가지의 용접 거동의 특징 추출이 용이해진다. 또한, 본 실시 형태에서는, 적색 성분 화상 및 청색 성분 화상을 이용하여 용접 거동을 계측하는 예에 대해 설명한다. 그러나, 이것으로 한정하는 것은 아니고, 녹색 성분 화상을 더 이용하여, 용접 거동을 계측해도 좋다. 예를 들면, 후술하는 구성 요소의 영역 특정 등에 있어, 녹색 성분 화상을 이용해도 좋다.
또한, 본 실시의 형태에서는, RGB의 색공간을 예로 들어 설명하고 있지만, 이것으로 한정하는 것은 아니다. 예를 들면, R, G, B의 각 파라미터에 대응하여 변환 가능한 다른 색공간을 이용해도 좋다. 보다 구체적으로는, 이용 가능한 색공간으로서, RGBA, YCbCr, YUV 등을 들 수 있다.
우선, 청색 성분 화상을 이용한 옅은 흄을 측정하기 위한 지표치의 산출에 대해 설명한다. S403에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, 청색 성분 화상에 대해서 배경 감산 처리를 적용한다. 배경 감산 처리의 수법은 특히 한정하는 것은 아니지만, 예를 들면, 공지의 Rolling Ball 알고리즘을 이용하여 노이즈를 제거하는 것으로 배경 감산을 행해도 좋다. 그 외, 소정의 필터를 이용한 필터링 처리에 의해 배경 감산 처리를 행해도 좋다. 본 공정의 처리에 의해, 스파이크 형상의 신호를 제거하여, 매끄럽게 변동하는 화소치를 취득할 수 있다. 본 실시 형태에서는, 이 매끄럽게 변동하는 화소치가 옅은 흄에 유래하는 것으로서 취급한다.
S404에서, 데이터 처리 장치(50)는, 산출부(504)에 의해, S403에서 배경 감산 처리가 행해진 청색 성분 화상에 있어서, 휘도의 합계치를 옅은 흄의 지표치로서 산출한다. 여기에서는, 청색 성분 화상 전체에서 나타나는 휘도 히스토그램에 있어서, 각 휘도치에 근거하여 가중치 부여를 행한 합계치를 지표치로서 산출해도 좋다.
다음에, 적색 성분 화상을 이용한 아크광 및 진한 흄을 측정하기 위한 지표치에 대해 설명한다. S405에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, 적색 성분 화상에 대해서 배경 감산 처리를 적용한다. 배경 제거 처리의 수법은 특히 한정하는 것은 아니지만, 예를 들면, S403의 처리와 마찬가지로, 공지의 Rolling Ball 알고리즘을 이용하여 노이즈를 제거하는 것에 의해 배경 감산을 행해도 좋다. 그 외에, 소정의 필터를 이용한 필터링 처리에 의해 배경 감산 처리를 행해도 좋다. 본 공정의 처리에 의해, 스파이크 형상의 신호를 제거하여, 매끄럽게 변동하는 화소치를 취득할 수 있다.
S406에서, 데이터 처리 장치(50)는, 산출부(504)에 의해 S405에서 배경 감산 처리가 행해진 적색 성분 화상에 있어서, 휘도의 합계치를 아크광의 지표치로서 산출한다. 여기에서는, 적색 성분 화상 전체에서 나타나는 휘도 히스토그램에 있어서, 각 휘도치에 근거하여 가중치 부여를 행한 합계치를 지표치로서 산출해도 좋다.
S407에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S402에서 생성된 적색 성분 화상의 각 화소의 휘도치로부터, S405에서 생성된 배경 감산 처리 후의 적색 성분 화상의 휘도치를 제외한다. 본 공정에 의해, 적색 성분 화상에 있어서, 매끄럽게 변동하는 화소치를 제외할 수 있다.
S408에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S407의 처리 후의 적색 성분 화상에 대해서 2치화 처리를 행하고, 2치화 화상을 생성한다. 여기서의 2치화 처리의 방법은 특히 한정하는 것은 아니고, 공지의 방법을 이용해도 좋다. 또, 2치화 처리 시의 임계치의 설정에 대해서도 특별히 한정하는 것은 아니고, 예를 들면, 화소치가 취할 수 있는 값의 중앙치를 임계치로 해도 좋다.
S409에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S408에서 생성된 2치화 화상을 이용하여 당해 화상에 포함되는 각 영역의 라벨링 처리를 행한다. 2치화 화상에는, 1 이상의 화소에 의해 구성되는 복수의 영역이 포함되어 있고, 각 영역의 추출을 행한다. 본 실시 형태에서는, 2치화 화상에 대해, 화소치가 「1」인 화소로 이루어지는 각 영역을, 용접 거동에 의해 생기는 구성 요소의 어느 하나에 대응하는 영역으로서 라벨링한다. 라벨링 처리의 방법은 특별히 한정하는 것은 아니고, 공지의 수법이 이용되어도 좋다. 또, 영역의 사이즈의 하한도 특별히 한정하는 것은 아니고, 예를 들면, 최소의 영역은, 1 화소로 이루어지는 영역으로 해도 좋다. 또한, 화소치가 「0」인 화소로 이루어지는 영역이 용접 거동에 의해 생기는 구성 요소에 대응하는 경우, 그쪽을 라벨링해도 좋다.
S410에서, 데이터 처리 장치(50)는, 화상 분할부(503)에 의해, S409에서 라벨링한 화상 내의 각 영역에 대해서 요소 분류 처리를 행한다. 본 공정의 상세한 것에 대하여, 도 6을 이용하여 설명한다. 본 공정은, 처리 대상으로 되는 복수의 적색 성분 화상 각각을 이용하여 행해진 라벨링 처리의 결과에 근거하여, 그때마다 행해진다.
S601에서, 화상 분할부(503)는, 2치화 화상에 포함되는 1 또는 복수의 라벨링된 영역 중, 미처리 영역에 주목한다. 이 때, 주목하는 순서는 특별히 한정하는 것은 아니지만, 예를 들면, 영역의 사이즈에 근거하여 내림차순으로 정렬하고, 사이즈가 큰 것부터 순서대로 주목해도 좋다.
S602에서, 화상 분할부(503)는, 주목 영역을 구성하는 화소수가 제1 임계치 이하인지 여부를 판정한다. 여기서의 제1 임계치는, 300화소로서 설명한다. 또한, 제1 임계치는, 적색 성분 화상의 전체 사이즈에 따라 규정되어도 좋고, 용접 상황에 따라 변화시켜도 좋다. 예를 들면, 시각 센서(40)가 고정 위치의 감시 카메라였을 경우, 용접 위치가 변하는, 즉, 시각 센서(40)의 위치와 용접 위치의 거리, 또는 촬영 방향이나 촬영 각도가 변하기 때문에, 촬영 대상의 크기가 변화한다. 따라서, 미리, 거리, 방향과 대상물의 크기의 관계를 마련하고, 이 관계에 근거하여, 제1 임계치를 변화시켜도 좋다. 한편, 시각 센서(40)의 위치와 용접 위치의 거리가 변화해도, 촬영 대상의 크기를 일정, 즉, 제1 임계치를 일정하게 해도 좋도록, 카메라측의 배율을 바꾸어도 좋다. 주목 영역의 화소수가 제1 임계치 이하인 경우, 즉, S602에서 YES인 경우, 화상 분할부(503)의 처리는, S604로 진행한다. 한편, 주목 영역의 화소수가 제1 임계치보다 큰 경우, 즉, S602에서 NO인 경우, 화상 분할부(503)의 처리는, S603으로 진행한다.
S603에서, 화상 분할부(503)는, 주목 영역이 화상의 중앙에 위치하고, 또한, 라벨링된 영역 중, 최대의 사이즈인지 여부를 판정한다. 즉, 통상의 용접 거동을 촬영한 화상에 있어서는, 중앙에 아크광이 위치하고, 아크광의 영역은 화상 내에 있어서 최대의 영역으로 된다. 한편, 촬영 시에 장애물 등이 비친 결과, 아크광이 중앙에 없는 경우가 있다. 그러한 경우에는, 주목 영역은 노이즈로서 취급한다. 도 7은 화상 상에 장애물이 비친 예를 나타내고 있다. 이러한 경우에는, 아크광이 화상의 중앙에 위치하지 않는 화상으로 된다. 또한, 여기서의 중앙은, 미리 범위가 설정되어 있어도 좋고, 화상 사이즈나 용접 거동 등에 따라 변화해도 좋다. 또, 본 공정의 판정에서 이용되는 최대의 사이즈는, 화상 내의 복수의 영역 간의 상대적인 사이즈로 되기 때문에, 화상에 따라 다르다. 주목 영역이 상기 조건을 만족시키는 경우, 즉, S603에서 YES인 경우에, 화상 분할부(503)의 처리는 S605로 진행한다. 한편, 주목 영역이 상기 조건을 만족시키지 않는 경우, 즉, S603에서 NO인 경우에, 화상 분할부(503)의 처리는 S606으로 진행한다.
S604에서, 화상 분할부(503)는, 주목 영역의 사이즈가 제2 임계치 이상인지 여부를 판정한다. 제2 임계치는, 주목 영역을 포함하는 최소의 직사각형 영역을 규정하고, 그 직사각형 영역의 화소수에 대한 주목 영역의 화소수의 비율로서 설정된다. 따라서, 직사각형 영역의 사이즈는, 각 주목 영역의 사이즈에 따라 변화한다. 여기서의 제2 임계치는 15%로 하여 설명한다. 즉, 본 공정에서의 판정은, 이하의 조건을 만족시키는지 여부가 판정된다.
제2 임계치≤(주목 영역의 사이즈)/(주목 영역을 포함하는 직사각형 영역의 사이즈)
주목 영역의 사이즈가 제2 임계치 이상인 경우, 즉, S604에서 YES인 경우, 화상 분할부(503)의 처리는 S607로 진행한다. 한편, 주목 영역의 사이즈가 제2 임계치보다 작은 경우, 즉, S604에서 NO인 경우, 화상 분할부(503)의 처리는 S608로 진행한다.
S605에서, 화상 분할부(503)는, 주목 영역을 아크광의 영역으로서 분류한다. 그리고, 화상 분할부(503)의 처리는 S609로 진행한다.
S606에서, 화상 분할부(503)는, 주목 영역을 노이즈의 영역으로서 분류한다. 그리고, 화상 분할부(503)의 처리는 S609로 진행한다.
S607에서, 화상 분할부(503)는, 주목 영역을 스패터의 영역으로서 분류한다. 그리고, 화상 분할부(503)의 처리는 S609로 진행한다.
S608에서, 화상 분할부(503)는, 주목 영역을 진한 흄의 영역으로서 분류한다. 그리고, 화상 분할부(503)의 처리는 S609로 진행한다.
S609에서, 화상 분할부(503)는, 미처리 영역이 있는지 여부를 판정한다. 미처리 영역이 있는 경우, 즉, S609에서 YES인 경우, 화상 분할부(503)의 처리는 S601로 돌아오고, 처리를 반복한다. 한편, 미처리 영역이 없는 경우는, 즉, S609에서 NO인 경우, 본 처리 흐름을 종료하고, 도 4의 S411로 진행한다.
도 4에 돌아와, 아크광의 지표치를 산출하는 동작에 대해 설명한다. S411에서, 데이터 처리 장치(50)는, 도 6을 이용하여 설명한 요소 분류 처리에 의해, 아크광으로서 분류된 영역으로 구성되는 2치화 화상을 생성한다. 이 2치화 화상은, S409에서 라벨링된 2치화 화상으로부터, 아크광으로서 분류된 영역을 추출하는 것으로 생성되어도 좋다. 이 때의 2치화 화상에는, 플레어에 대응하는 구성 요소가 포함된다. 플레어는, 시각 센서(40)를 구성하는 렌즈나 카메라 안에서 반사하는 것에 의해 발생하는 광이다. 그래서, 데이터 처리 장치(50)는, 화상 분할부(503)에 의해, 플레어의 구성 요소를 제거하기 위해서, 생성한 2치화 화상에 대해서 수축·확장 처리를 행한다. 수축·확장 처리는, 공지의 수법을 이용해도 좋다. 플레어의 구성 요소를 적절히 제거하기 위해서, 여러 차례의 수축 처리 및 팽창 처리를 행해도 좋고, 또, 그 처리 순서는 특별히 한정되는 것은 아니다.
S412에서, 데이터 처리 장치(50)는, 산출부(504)에 의해, S411에서 처리된 2치화 화상을 이용하여 아크광의 지표치를 산출한다. 산출부(504)는, 2치화 화상에 포함되는 아크광의 영역의 화소수를 카운트하고, 그 값을 지표치로서 이용한다.
또한, S406의 처리에서는 휘도치에 근거하는 아크광의 지표치를 산출하고, S412의 처리에서는 화소수에 근거하는 아크광의 지표치를 산출하고 있다. 이것들은, 별개의 지표치로서 취급해도 좋고, 상기의 2개의 지표치로부터 아크광 전체의 하나의 지표치를 도출해도 좋다. 또, 아크광의 지표치로서, 아크폭, 아크 길이, 아크 편향의 방향 등을, 아크광의 영역에 있어서의 면적, 중심, 주축 각도 등에 근거하여 더 산출해도 좋다.
이어서, 스패터의 지표치를 산출하는 동작에 대해 설명한다. S413에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S407의 처리 후의 적색 성분 화상을 이용하여, 도 6의 요소 분류 처리에서 스패터로서 분류된 영역으로 구성되는 적색 성분 화상을 생성한다.
S414에서, 데이터 처리 장치(50)는, 산출부(504)에 의해, S413에서 생성한 적색 성분 화상을 이용하여 스패터의 지표치를 산출한다. 우선, 산출부(504)는, 적색 성분 화상에 포함되는 각 스패터의 영역 중, 소정의 임계치 이상의 면적, 즉, 소정의 임계치 이상의 화소수를 갖는 영역을 제거한다. 이것은, 하나 하나의 스패터는 소정의 사이즈보다 작은 것이라고 가정하고, 그 영역을 배경이라고 간주하여 제거한다. 여기서의 임계치는 특별히 한정하는 것은 아니지만, 미리 규정되어 있는 것으로 한다. 다음에, 산출부(504)는, 남은 스패터의 영역을 특정하고, 그 화소의 수나, 특정한 화소에서 구성되는 영역의 수를, 스패터의 지표치로서 산출한다. 이 때, 화소수를 카운트할 때에는, R의 값이 소정의 임계치 이상인 화소만을 카운트해도 좋다.
또한, 여기서의 평가치의 산출 시에는, 발생한 스패터의 실측량과, 본 실시 형태에 따른 화상으로부터의 산출치의 대응 관계를, 관계식이나 테이블 등으로 미리 정의해 두고, 그것들을 이용하여 지표치를 도출해도 좋다. 이 경우, 관계식이나 테이블을 이용하여, 화상으로부터의 산출치를 단위 시간당 중량을 나타내는 스패터량으로 변환해도 좋다.
이어서, 진한 흄의 지표치를 산출하는 동작에 대해 설명한다. S415에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S407에서 생성한 화상으로부터 S413에서 생성된 스패터의 영역의 값을 감산하는 것으로, 스패터를 제거한 화상을 생성한다.
S416에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S415에서 생성된 화상에 대해서 감마 보정을 행한다. 감마 보정에서 휘도치를 변환하는 것에 의해, 화상 내에 있어서의 미소한 휘도치의 영역을 제외한다. 제외 대상으로 되는 영역에 대한 임계치는, 특별히 한정하는 것은 아니고, 여기에서는 미리 규정되어 있는 것으로 한다. 또, 감마 보정은, 공지의 방법을 이용해도 좋고, 예를 들면, 감마 커브의 구성은 특별히 한정하는 것은 아니다.
S417에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S416에서 처리된 화상에 대해서 필터링 처리를 행한다. 필터링 처리에 의해, 화상 중의 에지를 검출하고, 휘도치의 구배가 급한 부분을 강조시킨다. 여기서의 필터링 처리에서는, 예를 들면, Laplacian 필터를 이용할 수 있지만, 다른 필터를 이용해도 좋다.
S418에서, 데이터 처리 장치(50)는, 화상 처리부(502)에 의해, S417에서 필터 처리가 적용된 화상에 대해서, 휘도의 구배에 근거한 영역 분할을 행한다. 여기서의 영역 분할 처리는, 예를 들면, Watershed 알고리즘을 이용하여 행한다. Watershed 알고리즘에 의해, 휘도의 대소, 즉, 농담의 구배가 심한 부분을 보다 세세하게 분할하고, 강조하는 것이 가능하다. 또한, 이용하는 영역 분할 수법은 특별히 한정하는 것은 아니고, 다른 수법이어도 좋다.
S419에서, 데이터 처리 장치(50)는, 산출부(504)에 의해, S418에서 생성한 화상에 근거하여 진한 흄의 지표치를 산출한다. S418의 처리에 있어서, 화상을 복수의 영역으로 분할하고 있다. 이 때, 작은 분할 영역이 많을수록 농담이 많이 있는 것으로 된다. 본 실시 형태에서는, 농담이 많이 있다고 하는 영역, 즉, 미리 정한 면적 이하의 분할 영역을 진한 흄의 발생 개소로서 진단하여, 면적의 합계치를 진한 흄을 나타내는 지표치로서 상정한다. 본 실시 형태에서는, 이하의 식 (1)을 이용하여 진한 흄의 지표치를 도출한다. 이하의 식 (1)에 있어서, Tn는, 분할 영역 n의 면적, 즉, 화소수를 나타낸다(n=1, …, i).
[수학식 1]
(진한 흄의 지표치)=
또한, 여기서의 평가치의 산출 시에는, 발생한 흄의 실측량과, 본 실시 형태에 의한 화상으로부터의 산출치의 대응 관계를, 관계식이나 테이블 등으로 미리 정의해 두고, 그것들을 이용하여 지표치를 도출해도 좋다. 이 경우, 관계식이나 테이블을 이용하여, 화상으로부터의 측정치를 단위 시간당 중량을 나타내는 흄량으로 변환해도 좋다.
또, S404의 처리에서는 옅은 흄의 지표치를 산출하고, S419의 처리에서는 진한 흄의 지표치를 산출하고 있다. 이것들은, 별개의 지표치로서 취급해도 좋고, 소정의 변환식을 이용하여 상기의 2개의 지표치로부터 흄 전체의 하나의 지표치를 도출해도 좋다.
데이터 처리 장치(50)는, 상기의 각 지표치를 도출한 후, 표시부(505)에 의해, 도시하지 않는 화면 상에서 표시한다. 이 때, 산출된 지표치에 의해 특정되는 스패터나 흄 등의 복수의 용접 거동은, 시계열로 나란히 표시되면 되고, 이들 용접 거동에 대한 지표치의 산출 결과뿐만 아니라, 용접 전류나 아크 전압치 등도 시계열로 동기시키고, 나란히, 즉 비교 대상이 시인하기 쉽도록 표시시켜도 좋다.
도 8, 도 9는, 상기의 처리에 있어서, 화상 처리에 의한 화상의 변천을 설명하기 위한 도면이다. 도 8은, 적색 성분 화상으로부터 구성 요소마다의 화상을 생성할 때까지의 화상의 변천을 나타내고, 도 4의 처리 시퀀스 중, S405~S415의 처리에 의한 화상 처리에 상당한다.
화상(801)은, 적색 성분 화상의 예를 나타내고, 색 성분 분해 처리 후의 화상을 나타낸다. 화상(802)은, 화상(801)에 대해서, 2치화 처리를 적용한 후의 화상을 나타낸다. 화상(803, 805)은, 화상(802)에 대해서, 라벨링 처리 및 요소 분해 처리를 적용하여, 구성 요소마다 생성된 화상을 나타낸다. 화상(803)은, 스패터로서 분류된 영역으로 구성되는 화상이며, S411에서 생성되는 화상에 상당한다. 화상(805)은, 아크광으로서 분류된 영역으로 구성되는 화상이며, S415에서 생성되는 화상에 상당한다.
화상(804)은, 화상(803)으로부터 배경으로서 간주하는 영역을 제거한 화상이며, S414에서 생성되는 화상에 상당한다. 화상(806)은, 화상(805)에 장애물이 비치지 않은 경우를 나타낸다. 도 7에 나타낸 바와 같이 장애물이 비치고 있는 경우에는, 화상의 중앙에 아크광으로 분류되는 영역이 존재하지 않는다. 한편, 화상(806)은, 화상의 중앙에 아크광으로 분류된 영역이 존재하는 것으로 된다.
도 9는, 적색 성분 화상으로부터 영역 분할까지의 화상의 변천을 나타내고, 도 4의 처리 시퀀스 중, S415~S418의 처리에 의한 화상 처리에 상당한다.
화상(901)은, 스패터 영역을 제거한 적색 성분 화상의 예를 나타내고, S415에서 생성되는 화상에 상당한다. 화상(902)은, 화상(901)에 대해 감마 보정 및 필터링 처리를 적용한 화상이며, S417의 처리 후의 화상에 상당한다. 화상(903)은, 화상(902)에 대해 영역 분할을 적용한 화상이며, S418의 처리 후의 화상에 상당한다.
또한, 도 4의 S402, S405, S408가 흐름에서 나타낸 바와 같이, 색 처리, 배경 감산 처리(매끄러움에 관한 처리), 2치화 처리의 순서로 처리를 행하는 것이 보다 바람직하다. 이것에 의해, 화상에 포함되는 용접 거동의 영역을 적절히 검출할 수 있다.
이상, 본 실시 형태에서는 용접을 행하고 있을 때에 발생하는 복수의 용접 거동에 대응하는 지표치를, 화상에 근거하여 산출할 수 있다. 특히, 종래에서는 검출이 곤란했던, 농담이 있는 흄이나 스패터도 아울러 검출할 수 있다. 이것에 의해, 화상 센서에서 촬영한 촬영 화상에 근거하여, 용접 현상의 복수의 거동을 계측하는 것이 가능해진다. 특히, 종래의 수법에서는, 스패터와 흄을 동시에 계측하는 것은 곤란했지만, 본 실시 형태의 수법에 의해, 이것들을 포함하는 복수의 거동의 계측이 가능해진다.
＜그 외의 실시 형태＞
상기의 구성에 있어서 또한, 계측 시간을 설정 가능한 구성이어도 좋다. 예를 들면, 소정 시간의 길이의 동화상 데이터에 있어서, 그 중의 측정 대상으로 되는 시간대를 지정할 수 있는 구성이어도 좋다. 그리고, 이 시간대에 있어서, 흄, 스패터, 아크광의 화소나 휘도치를 카운트하고, 각 지표치를 산출해도 좋다. 이것에 의해, 예를 들면, 소정의 시간대에 있어서의 용접 조건을 고려하면서, 용접 거동을 확인하는 것이 가능해진다.
또, 상기의 구성에 있어서, 계측 결과, 즉, 각 용접 거동에 대응하는 지표치에 근거하여, 용접 로봇(10)이나 시각 센서(40)의 동작을 제어하는 구성이어도 좋다. 예를 들면, 시각 센서(40)의 촬영 설정을 전환해도 좋고, 용접 로봇(10)의 각종 용접 파라미터를 제어해도 좋다. 이것에 의해, 예를 들면, 용접 거동의 발생 상황에 따라, 보다 적절히 용접 로봇(10)을 동작시키는 것이 가능해진다.
또, 본원 발명에 있어서, 상술한 1 이상의 실시 형태의 기능을 실현하기 위한 프로그램이나 애플리케이션을, 네트워크 또는 기억 매체 등을 이용하여 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에 의해서도 실현 가능하다.
또, 1 이상의 기능을 실현하는 회로에 의해 실현되어도 좋다. 또한, 1 이상의 기능을 실현하는 회로로서는, 예를 들면, ASIC(Application Specific Integrated Circuit)나 FPGA(Field Programmable Gate Array)를 들 수 있다.
이상과 같이, 본 명세서에는 다음 사항이 개시되어 있다.
(1) 시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 공정
을 갖는 것을 특징으로 하는 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 화상 센서에서 촬영한 촬영 화상에 근거하여, 용접 현상의 복수의 거동을 계측하는 것이 가능해진다.
(2) 상기 용접 현상에 대응하는 구성 요소는, 스패터, 흄, 아크광, 용융지, 배경, 장애물 중, 적어도 2개가 포함되는
것을 특징으로 하는 (1)에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 용접 현상에 대응하는 구성 요소로서, 스패터, 흄, 아크광, 용융지, 배경, 장애물 중, 적어도 2개를 검출할 수 있다.
(3) 상기 화상 분할 공정은,
상기 처리 화상에 포함되는 화소에 대해서 라벨링 처리를 행하는 라벨링 공정과,
상기 라벨링 공정에서 라벨링된 화소군으로 구성되는 1 또는 복수의 영역 각각을, 상기 용접 현상에 대응하는 구성 요소로 분류하는 분류 공정
을 갖고,
상기 분류 공정은, 상기 1 또는 복수의 영역 각각을,
화소수에 근거하여, 상기 용접 현상에 대응하는 구성 요소로 분류하는 공정, 또는,
위치 및 사이즈에 근거하여, 상기 용접 현상에 대응하는 구성 요소로 분류하는 공정, 또는,
주목 영역을 포함하는 직사각형 영역에 대해서, 당해 주목 영역을 구성하는 화소군이 차지하는 비율에 근거하여, 상기 용접 현상에 대응하는 구성 요소로 분류하는 공정
중, 적어도 하나의 공정을 갖는
것을 특징으로 하는 (1) 또는 (2)에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 화상 내에 포함되는 용접 현상에 대응하는 각 영역을 적절히 분류하는 것이 가능해진다.
(4) 상기 화상 분할 공정에 있어서, 상기 용접 현상에 대응하는 구성 요소 중, 적어도 스패터의 영역으로 구성되는 분할 화상과, 흄의 영역으로 구성되는 분할 화상을 생성하는
것을 특징으로 하는 (1)~(3) 중 어느 하나에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 용접 거동의 일종인 스패터와 흄의 각각을 나누어 검출하는 것이 가능해진다.
(5) 상기 도출 공정에 있어서, 상기 용접 현상의 거동으로서, 스패터, 또는, 흄 중 적어도 어느 하나의 지표치를 도출하는
것을 특징으로 하는 (1)~(4) 중 어느 하나에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 스패터와 흄을 대상으로서 그 거동을 계측할 수 있다.
(6) 상기 도출 공정에 있어서, 흄의 지표치를 도출하는 경우,
스패터의 영역이 제거된 분할 화상에 대해, 에지를 검출하고,
검출된 에지에 근거하여, 복수의 영역으로 분할하고,
상기 복수의 영역의 면적에 근거하여, 상기 흄의 지표치를 산출하는 것을 특징으로 하는 (5)에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 용접 현상으로서 흄을 적절히 계측하는 것이 가능해진다.
(7) 계측 대상으로 되는 기간을 설정하는 설정 공정을 더 갖고,
상기 설정 공정에서 설정된 기간에 포함되는 용접 화상을 이용하여, 상기 화상 처리 공정, 상기 화상 분할 공정, 및 상기 도출 공정에 의한 처리가 행해지는 것을 특징으로 하는 (5)에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 소망의 시간 범위에 있어서의 용접 거동을 계측하는 것이 가능해진다.
(8) 상기 화상 처리 공정은, 상기 용접 화상을, 색 성분마다의 화상으로 분해하는 처리, 2치화 처리, 매끄럽게 변동하는 화소치를 취득 또는 제외하는 처리 중, 적어도 하나의 처리를 포함하는 것을 특징으로 하는 (1)~(7) 중 어느 하나에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 용접 거동을 계측할 때의 화상 처리로서, 색 분해 처리, 2치화 처리, 특정의 화소치의 제외 처리 중 어느 것을 적용하는 것이 가능해진다.
(9) 상기 색 성분마다의 화상으로 분해하는 처리에서는, 상기 용접 화상으로부터 RGB의 색 성분마다의 색 성분 화상이 생성되는 것을 특징으로 하는 (8)에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, 주목하는 용접 거동을 계측하기 위해서, RGB 각각의 색 성분 화상을 생성하여 이용하는 것이 가능해진다.
(10) R의 색 성분 화상을 이용하여, 아크광, 스패터, 진한 흄 중 적어도 어느 하나의 지표치가 도출되는 것을 특징으로 하는 (9)에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, R의 색 성분 화상을 이용하는 것에 의해, 아크광, 스패터, 진한 흄 중 어느 하나를 계측하는 것이 가능해진다.
(11) B의 색 성분 화상을 이용하여, 옅은 흄의 지표치가 도출되는, (9) 또는 (10)에 기재된 용접 현상의 거동의 계측 방법.
이 구성에 의하면, B의 색 성분 화상을 이용하는 것으로, 옅은 흄을 계측하는 것이 가능해진다.
(12) 용접 장치와,
상기 용접 장치에 의한 용접 동작을 촬영하는 시각 센서와,
상기 시각 센서에 의해 촬영된 용접 화상을 이용하여, 용접 현상의 거동을 계측하는 계측 장치
를 갖는 용접 시스템으로서,
상기 계측 장치는,
상기 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 수단과,
상기 화상 처리 수단에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 수단과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 수단
을 갖는 것을 특징으로 하는 용접 시스템.
이 구성에 의하면, 화상 센서에서 촬영한 촬영 화상에 근거하여, 용접 시스템에서 발생하는 용접 현상의 복수의 거동을 계측하는 것이 가능해진다.
(13) 시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 수단과,
상기 화상 처리 수단에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 수단과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 수단
을 갖는 것을 특징으로 하는 용접 현상의 거동의 계측 장치.
이 구성에 의하면, 화상 센서에서 촬영한 촬영 화상에 근거하여, 용접 현상의 복수의 거동을 계측하는 것이 가능해진다.
(14) 청구항 13에 기재된 계측 장치에 의해 도출된 용접 현상의 거동에 근거하여, 용접 동작을 제어하는 것을 특징으로 하는 용접 방법.
이 구성에 의하면, 계측된 용접 현상의 복수의 거동에 근거하여, 용접 동작을 제어하는 것이 가능해진다.
(15) 시각 센서에 의해 촬영된 용착 화상에 대해, 주목하는 용착 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용착 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용착 현상의 거동을 도출하는 도출 공정
을 갖는 것을 특징으로 하는 용착 현상의 거동의 계측 방법.
이 구성에 의하면, 화상 센서에서 촬영한 촬영 화상에 근거하여, 부가 제조에 있어서의 용착 현상의 복수의 거동을 계측하는 것이 가능해진다.
(16) 컴퓨터에,
시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 공정
을 실행시키기 위한 프로그램.
이 구성에 의하면, 화상 센서에서 촬영한 촬영 화상에 근거하여, 용접 현상의 복수의 거동을 계측하는 것이 가능해진다.
이상, 도면을 참조하면서 각종 실시의 형태에 대해 설명했지만, 본 발명은 이러한 예로 한정되지 않는 것은 물론이다. 당업자이면, 특허 청구의 범위에 기재된 범주 내에 있어서, 각종 변경예 또는 수정예에 이를 수 있는 것은 분명하고, 그것들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다. 또, 발명의 취지를 일탈하지 않는 범위에 있어서, 상기 실시의 형태에 있어서의 각 구성 요소를 임의로 조합해도 좋다.
또한, 본 출원은, 2021년 7월 19일 출원의 일본 특허 출원(특원 2021-118757)에 근거하는 것이며, 그 내용은 본 출원 중에 참조로서 원용된다.
1 용접 시스템
10 용접 로봇
11 용접 토치
12 와이어 송급 장치
13 용접 와이어
20 로봇 제어 장치
30 전원 장치
40 시각 센서
41 전류 센서
42 전압 센서
50 데이터 처리 장치
201 CPU(Central Processing Unit)
202 메모리
202A 제어 프로그램
203 조작 패널
204 교시 팬던트
205 로봇 접속부
206 통신부
501 기억부
502 화상 처리부
503 화상 분할부
504 산출부
505 표시부
506 시각 센서 제어부

Claims (16)

  1. 시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
    상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
    상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 공정
    을 갖는 것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  2. 제1항에 있어서,
    상기 용접 현상에 대응하는 구성 요소는, 스패터(spatter), 흄(fume), 아크광, 용융지, 배경, 장애물 중 적어도 2개가 포함되는
    것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 화상 분할 공정은,
    상기 처리 화상에 포함되는 화소에 대해서 라벨링 처리를 행하는 라벨링 공정과,
    상기 라벨링 공정에서 라벨링된 화소군으로 구성되는 1 또는 복수의 영역 각각을, 상기 용접 현상에 대응하는 구성 요소로 분류하는 분류 공정
    을 갖고,
    상기 분류 공정은, 상기 1 또는 복수의 영역 각각을,
    화소수에 근거하여, 상기 용접 현상에 대응하는 구성 요소로 분류하는 공정, 또는,
    위치 및 사이즈에 근거하여, 상기 용접 현상에 대응하는 구성 요소로 분류하는 공정, 또는,
    주목 영역을 포함하는 직사각형 영역에 대해서, 당해 주목 영역을 구성하는 화소군이 차지하는 비율에 근거하여, 상기 용접 현상에 대응하는 구성 요소로 분류하는 공정
    중, 적어도 하나의 공정을 갖는
    것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 화상 분할 공정에 있어서, 상기 용접 현상에 대응하는 구성 요소 중, 적어도 스패터의 영역으로 구성되는 분할 화상과, 흄의 영역으로 구성되는 분할 화상을 생성하는
    것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 도출 공정에 있어서, 상기 용접 현상의 거동으로서, 스패터, 또는, 흄 중 적어도 어느 하나의 지표치를 도출하는
    것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  6. 제5항에 있어서,
    상기 도출 공정에 있어서, 흄의 지표치를 도출하는 경우,
    스패터의 영역이 제거된 분할 화상에 대해, 에지를 검출하고,
    검출된 에지에 근거하여, 복수의 영역으로 분할하고,
    상기 복수의 영역의 면적에 근거하여, 상기 흄의 지표치를 산출하는
    것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  7. 제5항에 있어서,
    계측 대상으로 되는 기간을 설정하는 설정 공정을 더 갖고,
    상기 설정 공정에서 설정된 기간에 포함되는 용접 화상을 이용하여, 상기 화상 처리 공정, 상기 화상 분할 공정, 및 상기 도출 공정에 의한 처리가 행해지는
    것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  8. 제1항 또는 제2항에 있어서,
    상기 화상 처리 공정은, 상기 용접 화상을, 색 성분마다의 화상으로 분해하는 처리, 2치화 처리, 매끄럽게 변동하는 화소치를 취득 또는 제외하는 처리 중, 적어도 하나의 처리를 포함하는 것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  9. 제8항에 있어서,
    상기 색 성분마다의 화상으로 분해하는 처리에서는, 상기 용접 화상으로부터 RGB의 색 성분마다의 색 성분 화상이 생성되는 것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  10. 제9항에 있어서,
    R의 색 성분 화상을 이용하여, 아크광, 스패터, 진한 흄 중 적어도 어느 하나의 지표치가 도출되는 것을 특징으로 하는 용접 현상의 거동의 계측 방법.
  11. 제9항 또는 제10항에 있어서,
    B의 색 성분 화상을 이용하여, 옅은 흄의 지표치가 도출되는 용접 현상의 거동의 계측 방법.
  12. 용접 장치와,
    상기 용접 장치에 의한 용접 동작을 촬영하는 시각 센서와,
    상기 시각 센서에 의해 촬영된 용접 화상을 이용하여, 용접 현상의 거동을 계측하는 계측 장치
    를 갖는 용접 시스템으로서,
    상기 계측 장치는,
    상기 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 수단과,
    상기 화상 처리 수단에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 수단과,
    상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 수단을 갖는
    것을 특징으로 하는 용접 시스템.
  13. 시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 수단과,
    상기 화상 처리 수단에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 수단과,
    상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 수단
    을 갖는 것을 특징으로 하는 용접 현상의 거동의 계측 장치.
  14. 청구항 13에 기재된 계측 장치에 의해 도출된 용접 현상의 거동에 근거하여, 용접 동작을 제어하는 것을 특징으로 하는 용접 방법.
  15. 시각 센서에 의해 촬영된 용착 화상에 대해, 주목하는 용착 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
    상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용착 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
    상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용착 현상의 거동을 도출하는 도출 공정
    을 갖는 것을 특징으로 하는 용착 현상의 거동의 계측 방법.
  16. 컴퓨터에,
    시각 센서에 의해 촬영된 용접 화상에 대해, 주목하는 용접 현상의 거동에 따른 화상 처리를 행하는 화상 처리 공정과,
    상기 화상 처리 공정에서 생성된 처리 화상을 이용하여, 상기 용접 현상에 대응하는 구성 요소마다의 복수의 분할 화상을 생성하는 화상 분할 공정과,
    상기 복수의 분할 화상 중 적어도 2개의 분할 화상을 이용하여, 상기 용접 현상의 거동을 도출하는 도출 공정
    을 실행시키기 위한 프로그램.
KR1020247001287A 2021-07-19 2022-05-27 용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램 KR20240019361A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2021-118757 2021-07-19
JP2021118757A JP7491876B2 (ja) 2021-07-19 2021-07-19 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム
PCT/JP2022/021720 WO2023002753A1 (ja) 2021-07-19 2022-05-27 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム

Publications (1)

Publication Number Publication Date
KR20240019361A true KR20240019361A (ko) 2024-02-14

Family

ID=84979109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247001287A KR20240019361A (ko) 2021-07-19 2022-05-27 용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램

Country Status (5)

Country Link
US (1) US20240335910A1 (ko)
JP (1) JP7491876B2 (ko)
KR (1) KR20240019361A (ko)
CN (1) CN117545583A (ko)
WO (1) WO2023002753A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340459B (zh) * 2023-12-04 2024-01-30 武汉纺织大学 一种超高功率激光焊接全过程监测方法及系统
CN118123307B (zh) * 2024-05-07 2024-08-16 广东省科学院智能制造研究所 一种基于视觉的自适应焊缝调整方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002205166A (ja) 2001-01-04 2002-07-23 Kawasaki Heavy Ind Ltd 溶接状態表示装置
JP2008126274A (ja) 2006-11-21 2008-06-05 Kobe Steel Ltd アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
JP4860523B2 (ja) 2007-03-26 2012-01-25 株式会社神戸製鋼所 アーク溶接における酸化物認識方法及び酸化物認識装置
CA2703892C (en) 2007-11-02 2014-06-10 Nippon Steel Corporation System and method for monitoring of welding state
JP7021728B2 (ja) 2017-05-12 2022-02-17 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル

Also Published As

Publication number Publication date
CN117545583A (zh) 2024-02-09
WO2023002753A1 (ja) 2023-01-26
JP2023014675A (ja) 2023-01-31
US20240335910A1 (en) 2024-10-10
JP7491876B2 (ja) 2024-05-28

Similar Documents

Publication Publication Date Title
KR20240019361A (ko) 용접 현상의 거동의 계측 방법, 계측 장치, 용접 시스템, 및 프로그램
JP4462959B2 (ja) 顕微鏡画像撮影システム及び方法
US20020186881A1 (en) Image background replacement method
CN113324864B (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
JP4839183B2 (ja) 画像処理装置
US11836903B2 (en) Subject recognition method, electronic device, and computer readable storage medium
CN110196252B (zh) 坡口缺陷检测算法及装置
CN109951635A (zh) 拍照处理方法、装置、移动终端以及存储介质
JP2017037357A (ja) 画像処理装置、プログラムおよび記録媒体
CN102663781A (zh) 一种基于视觉的亚像素级焊缝中心提取方法
WO2023019793A1 (zh) 一种确定方法、清洁机器人和计算机存储介质
WO2024125447A1 (zh) 消除激光分层的图像处理方法、系统及装置
US8654217B2 (en) Device and method for detecting dust on an image sensor
JP6348020B2 (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
JP7460580B2 (ja) 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面
JP2018056892A (ja) 画像処理装置
JP2006285403A (ja) 画像処理方法および画像処理装置
KR20170062661A (ko) 컬러영상에서 Mean-Shift 군집화와 단계별 병합 방법을 이용한 자동 원료 선별 방법 및 장치
CN112669487A (zh) 跟踪目标方法和巡检机器人
JP6953184B2 (ja) 画像処理装置および画像処理方法
US20230419470A1 (en) Method for detecting defects in a 3d printer
JP6960620B2 (ja) 検知システム
CN103841312A (zh) 物体侦测装置及方法
JP7338182B2 (ja) 行動認識装置、行動認識方法及びプログラム
KR101905128B1 (ko) 빛의 불규칙성을 기반으로 하는 동작영역 검출 제어 방법 및 그 방법을 이용한 동작영역 검출 장치