KR102561444B1 - 용접 공정에서의 객체 트래킹 장치 및 방법 - Google Patents

Abstract

용접 공정에서의 객체 트래킹 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 용접 영상 내 기 설정된 객체를 트래킹하여 출력하는 용접 공정에서의 객체 트래킹 장치에 있어서, 모재 및 상기 모재를 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치와 상기 카메라 장치의 카메라 제어 파라미터를 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라 장치로부터 수신하여, 수신한 영상 내에서 상기 기 설정된 객체를 식별하여 정보를 추출하는 제어장치 및 상기 카메라 장치가 촬영한 영상, 상기 제어장치가 수신한 복수의 영상 또는 상기 제어장치가 추출한 기 설정된 객체의 정보를 출력하는 출력장치를 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치를 제공한다.

Description

용접 공정에서의 객체 트래킹 장치 및 방법{Apparatus and method for Object tracking in welding process}

본 발명은 명암대비가 과도한 용접 공정 환경에서 카메라를 이용하여 객체를 트래킹하는 기술에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

전기 용접(Arc welding)은 공기의 방전 현상을 이용하여 동일한 금속끼리 용접시키는 것이다. 작업자는 비드의 형성 등을 주의 깊게 관찰하여 최상의 용접 품질이 나올 수 있도록 용접을 진행해야 한다.

한편, 레이저 용접은 레이저 광선으로 금속을 녹여 붙이는 용접으로서, 정교하고 미세한 부위를 용접하는데 사용되고 있다. 또한, 작업자가 눈으로 확인하면서 레이저 용접을 실행하기 때문에, 레이저 용접 역시 용접과정에서 오차가 발생할 수 있다. 이에, 레이저 용접도 정교하고 미세한 부위를 용접하는데 한계가 있다.

용접 작업시 작업자는 보호구 또는 보호 안경을 착용한다, 작업자는 용접 작업과 동시에 용접기의 전기적 특성이나 용접선 등을 확인하면서 용접을 진행해야 하는데, 용접시 발생되는 빛이나 주변 환경으로 인해 용접 상황을 제대로 파악하지 못할 수 있다.

최근에는 작업자가 보호구 또는 보호 안경에 장착된 카메라를 이용하여 용접 진행 과정을 모니터링할 수 있지만, 카메라가 전체 영상 밝기의 평균값을 기준으로 노출값을 조절하고 있어 영상의 평균 밝기보다 너무 어둡거나 밝은 빛에 노출될 경우에, 용접 작업 영상을 통해 용접 토치나 특정 대상체를 작업자가 일시적으로 식별할 수 없고, 그로 인해 용접 품질이 저하될 수 있는 문제점이 있다.

용접자동화에 있어서 대표적인 분야가 용접선 추적(Seam Tracking) 분야이다. 용접 자동화에 적용되는 용접용 로봇 시스템은 아크센서, 레이저센서, 근접센서, 비전센서 등을 통하여 작업상황에 대한 변화를 감지하고, 다양한 제어이론을 통하여 로봇을 제어함으로써 유연한 제품생산 시스템(FMS)을 구성할 수 있게 된다.

특히, 용접 자동화에서의 용접선 추적 시스템은 용접 토치의 일부분에 장착된 센서로 용접선 상태를 계측하고, 이미지프로세서에서 계측된 용접선 이미지를 처리하여 변경내용을 감지한 후 로봇 컨트롤러에 데이터를 전송하여 변화된 용접선에 대응하여 로봇이 적절한 용접을 수행하도록 한다.

특히, 용접선 추적을 위해 용접 토치의 전단에 레이저 센서가 장착되는 경우, 레이저 센서로부터 읽어들인 측정치를 이용하여 용접선을 추적하는 것이지만, 레이저 센서가 용접토치로부터 전방거리만큼 떨어져 있기 때문에 위치 틀어짐을 결정하고 난 후에 일정 시간이 경과된 후에 이를 반영하여 실시간성이 떨어지는 문제점이 있다.

용접선 추적을 위해 비전 센서를 사용하는 경우에, 용접시에 발생하는 아크 광(Arc light)이나 주변의 용접 조건들에 의해 화상처리가 방해받을 수 있는 문제점이 있다.

용접선 추적을 위해 아크 센서를 사용하는 경우에는 측정된 전류와 모재간의 거리 사이의 관계를 통해 용접선을 자동 추적하는 알고리즘을 이용한다. 이 경우, 전극봉과 모재 사이의 거리에 따른 전류값 측정시, 금속이행모드에 의해 전류값들의 변화가 심하고, 전기적인 노이즈에 의해 측정치들의 신뢰도가 떨어지는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 용접광이나 작업 환경 등으로 인해 명암 대비가 높은 용접 환경에서 촬영된 용접 영상에서 사용자가 지정한 대상 객체를 용이하게 식별하여 추적하고, 그 결과를 AR 영상으로 제공하도록 하는 용접 객체 트래킹 장치 및 그 방법을 제공하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 일 측면에 의하면, 용접 영상 내 기 설정된 객체를 트래킹하여 출력하는 용접 공정에서의 객체 트래킹 장치에 있어서, 모재 및 상기 모재를 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치와 상기 카메라 장치의 카메라 제어 파라미터를 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라 장치로부터 수신하여, 수신한 영상 내에서 상기 기 설정된 객체를 식별하여 정보를 추출하는 제어장치 및 상기 카메라 장치가 촬영한 영상, 상기 제어장치가 수신한 복수의 영상 또는 상기 제어장치가 추출한 기 설정된 객체의 정보를 출력하는 출력장치를 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치를 제공한다.

본 발명의 일 측면에 의하면, 상기 모재는 상기 제어장치가 인식할 수 있는 마커를 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 상기 기 설정된 객체는 용접 토치, 용접화구 및 상기 모재 내 포함된 내열성 마커를 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 상기 용접 토치는 상기 모재에 접촉되는 용접 화구의 상단부에 용접시 발생되는 용접 광을 상기 카메라 장치 방향으로 굴절시키도록 굴절 및 내열 재질로 형성된 적어도 하나 이상의 마커 수단을 더 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 상기 용접 토치는 상기 모재에 접촉되는 용접 화구의 상단부에 용접시 발생되는 용접 광을 상기 카메라 장치 방향으로 반사시키도록 반사 및 내열 재질로 형성된 적어도 하나 이상의 마커 수단을 더 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 상기 카메라 제어 파라미터는 카메라 노출값, 카메라 센서 컬러 게인값, 감마값 및 블랙라벨 중 일부 또는 전부를 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 상기 객체 트래킹 영상은 각 기 설정된 객체들의 좌표를 포함하거나, 각 기 설정된 객체들의 좌표와 함께 용접이 수행되며 변화한 기 설정된 객체들의 좌표의 궤적을 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 상기 제어장치는 카메라 센서 컬러 게인값이 용접광의 스펙트럼 강도가 상대적으로 낮은 파장대역을 갖도록 가변시켜 상기 용접 화구의 식별력을 향상시키는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 상기 제어장치는 수신한 각 영상에 각 카메라 제어 파라미터에 따른 카메라 장치의 블랙영상을 차감하는 전처리를 수행하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 용접 영상 내 기 설정된 객체를 트래킹하여 출력하는 용접 공정에서의 객체 트래킹 장치에 있어서, 모재 및 상기 모재를 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치와 기 설정된 객체에 대한 특징정보를 기반으로 학습데이터를 생성하며, 상기 카메라 장치의 카메라 제어 파라미터를 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라 장치로부터 수신하여, 생성한 학습 데이터를 이용하여 수신한 영상 내에서 상기 기 설정된 객체를 식별하여 정보를 추출하는 제어장치 및 상기 카메라 장치가 촬영한 영상, 상기 제어장치가 획득한 복수의 영상 또는 상기 제어장치가 추출한 기 설정된 객체의 정보를 출력하는 출력장치를 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치를 제공한다.

본 발명의 일 측면에 의하면, 카메라를 이용하여 획득한 용접 영상 내 기 설정된 객체를 트래킹하는 트래킹 제어 장치에 있어서, 사용자로부터 용접이 일어나는 용접 환경에 대한 입력을 수신하는 사용자 입력부와 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라로부터 수신할 수 있도록, 상기 카메라의 카메라 제어 파라미터를 가변시키는 카메라 제어부와 복수의 용접 영상 내에서 기 설정된 객체를 지정하고, 기 설정된 객체에 대한 특징 정보를 기반으로 학습데이터를 생성하는 학습부와 각 용접 환경에 적합한 카메라 제어 파리미터 및 상기 학습부가 학습데이터를 생성할 수 있도록 하는 복수의 용접 영상을 저장하는 메모리부 및 상기 카메라 제어부가 상기 카메라로부터 수신한 복수의 영상으로부터 상기 기 설정된 객체를 식별하여 정보를 추출하는 제어부를 포함하는 것을 특징으로 하는 트래킹 제어장치를 제공한다.

본 발명의 일 측면에 의하면, 상기 카메라 제어부는 상기 카메라의 카메라 제어 파라미터를 상기 사용자 입력부가 입력받은 용접 환경에 적합한 카메라 제어 파라미터로 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라로부터 수신하는 것을 특징으로 한다.

본 발명의 일 측면에 의하면, 용접 영상 내 기 설정된 객체를 트래킹하여 출력하는 용접 공정에서의 객체 트래킹 방법에 있어서, 모재 및 상기 모재를 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 촬영과정과 상기 카메라 장치의 카메라 제어 파라미터를 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라 장치로부터 수신하는 수신과정과 상기 수신과정에서 수신한 영상 내에서 상기 기 설정된 객체를 식별하여 정보를 추출하는 추출과정 및 상기 촬영과정에서 촬영되거나 상기 수신과정에서 수신한 영상 또는 상기 추출과정에서 추출된 기 설정된 객체의 정보를 출력하는 출력과정을 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 방법을 제공한다.

본 발명의 일 측면에 의하면, 용접 영상 내 기 설정된 객체를 트래킹하여 출력하는 용접 공정에서의 객체 트래킹 방법에 있어서, 복수의 용접 영상 내에서 기 설정된 객체를 지정하고, 기 설정된 객체에 대한 특징 정보를 기반으로 학습데이터를 생성하는 생성과정과 모재 및 상기 모재를 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 촬영과정과 상기 카메라 장치의 카메라 제어 파라미터를 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라 장치로부터 수신하는 수신과정과 상기 생성과정에서 생성된 학습데이터를 이용하여 상기 수신과정에서 수신한 영상 내에서 상기 기 설정된 객체를 식별하여 정보를 추출하는 추출과정 및 상기 촬영과정에서 촬영되거나 상기 수신과정에서 수신한 영상 또는 상기 추출과정에서 추출된 기 설정된 객체의 정보를 출력하는 출력과정을 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 방법을 제공한다.

본 발명의 일 측면에 의하면, 카메라를 이용하여 획득한 용접 영상 내 기 설정된 객체를 트래킹하는 트래킹 제어 방법에 있어서, 복수의 용접 영상 내에서 기 설정된 객체를 지정하고, 기 설정된 객체에 대한 특징 정보를 기반으로 학습데이터를 생성하는 학습과정과 사용자로부터 용접이 일어나는 용접 환경에 대한 입력을 수신하는 수신과정과 상기 카메라가 획득한 용접 영상으로부터 카메라 제어 파리미터가 상이한 복수의 영상을 획득하는 획득과정 및 상기 획득과정에서 획득한 복수의 영상으로부터 상기 기 설정된 객체를 식별하여 정보를 추출하는 추출과정을 포함하는 것을 특징으로 하는 트래킹 제어방법을 제공한다.

이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 용접광이나 작업 환경 등으로 인해 명암 대비가 높은 용접 환경에서 촬영된 용접 영상에서 사용자가 지정한 대상 객체를 실시간 식별 및 추적하기 위해 대상 객체를 중심으로 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 자동으로 변경하여 그 결과를 객체 추적 영상으로 제공할 수 있는 장점이 있다.

이때, 본 발명은 대상 객체에 용접 광을 카메라 방향쪽으로 굴절 또는 반사시킬 수 있는 마커 수단을 장착하여, 용접 영상에서 마커 수단에 의해 노출 강도가높아진 대상 객체의 위치를 쉽게 식별할 수 있으며, 특히 용접 지점에서 용접광으로 인해 식별이 매우 어려운 용접 토치에 대한 시인성을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 장치에서 촬영한 용접 영상을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 용접 토치에 장착된 마커 수단을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 마커 수단의 구성 형태를 설명하는 예시도이다.
도 5는 용접광의 스펙트럼을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 제어 장치의 구성을 도시한 도면이다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 카메라 장치가 제어장치의 제어에 의해 카메라 제어 파라미터를 가변하여 촬영한 영상을 도시한 도면이다.
도 8a 및 도 8b는 카메라 제어 파라미터가 다른 카메라 장치의 블랙영상의 일 예를 도시한 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 학습부가 학습하는 과정의 일 예를 도시한 도면이다.
도 11는 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 장치가 기 설정된 객체를 트래킹하는 방법을 도시한 순서도이다.
도 12는 본 발명의 일 실시예에 따른 객체 식별 과정을 설명하는 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.

도 1은 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 장치의 구성을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 장치(100, 이하에서 '객체 트래킹 장치'로 약칭함)는 카메라 장치(110), 제어 장치(120) 및 표시 장치(130)를 포함하지만 이에 한정되지는 않고, 카메라 장치(110), 제어 장치(120) 또는 표시 장치(130)는 독립 또는 통합되어 구현될 수 있다.

객체 트래킹 장치(100)는 용접 영상을 촬영한 후, 용접 영상 내 기 설정된 객체를 식별하고 정보를 추출하여, 착용자(용접 기술자)에게 추출한 정보 등을 제공한다. 객체 트래킹 장치(100)는 착용자에 장착되는 용접 마스크나 용접 보호구로 구현되어, 착용자를 용접환경으로부터 보호하는 동시에 착용자가 보다 원활히 용접을 수행할 수 있도록 한다.

카메라 장치(110)는 하나 이상의 카메라를 이용하여 용접 영상을 촬영하여, 제어 장치(120)로 전송한다. 카메라 장치(110)는 객체 트래킹 장치(100) 내 일 위치에 형성되어, 용접 영상을 촬영한다. 예를 들어, 카메라 장치(100)는 용접 안경의 일 부분 또는 용접 마스크 면의 일 부분 등에 위치할 수 있다. 카메라 장치(110)는 용접 영상을 촬영하여, 제어 장치(120)로 전송한다. 카메라 장치(110)가 촬영하는 용접 영상은 도 2에 예시되어 있다.

도 2는 본 발명의 일 실시예에 따른 카메라 장치에서 촬영한 용접 영상을 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 용접 토치에 장착된 마커 수단을 설명하는 도면이며, 도 4는 본 발명의 일 실시예에 따른 마커 수단의 구성 형태를 설명하는 예시도이다.

도 2 내지 도 4를 참조하면, 용접 현장에서 용접 토치(220)는 용접 화구(火口)(225)에서 열 또는 아크를 발생시켜, 용접 부재(210)를 모재(230)로 접합시킨다. 작업자는 용접 영상 내에서 적어도 용접 토치(220)의 위치, 용접 화구(225)의 위치 및 모재(230)의 위치(모재와 용접 화구 간 간격)를 파악할 수 있어야 한다. 따라서, 카메라 장치(110)는 용접 토치(220), 용접 화구(225) 및 모재(230)의 위치를 파악할 수 있도록 모재(230) 내 마커(240)가 포함되는 용접 영상을 촬영한다. 추후, 영상 내에서, 제어장치(120)가 용접 토치(220), 용접 화구(225) 및 마커(240)를 식별함으로써, 작업자가 용접 시 인지해야 할 정보를 추출할 수 있다.

이를 위해 용접 토치(220)에는 적어도 하나 이상의 마커 수단(221)이 장착되어, 용접 광을 카메라 장치(110)가 있는 방향으로 굴절 또는 반사시켜 용접 영상에 의도적으로 노출 강도를 높여 촬영될 수 있도록 할 수 있다.

즉, 용접 토치(220)는 용접 화구(225)의 상단부에 용접시 발생되는 용접 광을 카메라 장치(110) 방향으로 굴절시키도록 굴절 및 내열 재질로 형성된 적어도 하나 이상의 마커 수단(221)이 장착된다. 이때, 마커 수단(221)은 도 4의 (a) 및 (b)에 도시된 바와 같이 유리, 구 또는 다이아몬드 형태의 굴절 비드를 사용할 수 있다.

또는 용접 토치(220)에 장착되는 마커 수단(221)은 용접 광을 카메라 장치(110) 방향으로 반사시키도록 반사 및 내열 재질로 형성될 수 있다. 이때, 마커 수단(221)은 도 4의 (c)에 도시된 바와 같이 고내열성 수지, 금속 비드 등을 사용할 수 있는데, 표면이 여러 각도와 형상으로 이루어져 형성한다. 마커 수단(221)은 링 형태, 볼록한 돌출 형태, 띠 형태는 다양한 형상으로 형성될 수 있다.

이러한 마커 수단(221)은 용접 지점, 용접 화구(225) 위치로부터 입사되는 빛의 일부를 카메라 장치(110)가 있는 방향으로 굴절 또는 반사시켜 카메라 장치(110)가 촬영하는 용접 영상에 의도적으로 노출될 수 있도록 한다.

마커 수단(221)은 적어도 하나 이상이 용접 토치(220)의 접촉 팁, 즉 용접 화구(225)의 상단부에 장착되고, 각각의 마커 수단(221)이 서로 다른 굴절 또는 반사 재질, 색상 또는 형상을 갖도록 함으로써 용접 영상에서 용접 토치(220)의 위치와 방향을 확실하게 분별할 수 있도록 한다.

즉, 카메라 장치(110)를 통해 획득된 용접 영상은 마커 수단(221)에 의해 용접 토치(220)의 상단부가 용접광보다 노출 강도가 높아져 영상 내 용접 토치의 위치에 대한 시인성 또는 식별성이 매우 우수해진다.

다시 도 1을 참조하면, 제어장치(120)는 카메라 장치(110)의 카메라 제어 파라미터를 가변시켜 복수의 용접 영상을 카메라 장치(110)로부터 수신하며, 수신한 영상 내에서 기 설정된 객체를 식별하여 객체 트래킹 영상을 생성한다.

통상의 카메라가 용접 현장을 촬영한다면, 자동 노출의 경우에 전체 영상 밝기의 평균값을 기준으로 노출값을 조절한다. 용접 화구에서 발생하는 열이나 아크로 인해, 용접 부위에서는 상대적으로 주변에 비해 지나치게 밝다. 즉, 용접 환경을 촬영한 영상은 영상 명암비(Dynamic range)가 매우 넓기 때문에, 단일 카메라 제어 파라미터로 촬영한 용접 영상 내에서는 기 설정된 객체의 시인성이 현저히 떨어진다. 특히, 용접 작업시, 카메라에 자동 노출이 설정된 경우, 용접광은 매우 밝기 때문에 용접광 밝기에 따라 카메라 노출값이 제어되어 용접광 이외의 객체는 영상 내에서 시인성이 매우 떨어지게 된다.

이에, 제어장치(120)는 카메라 장치(110)의 카메라 제어 파라미터를 가변시켜 복수의 용접 영상을 카메라 장치(110)로부터 수신한다. 제어장치(120)는 카메라 장치(110)의 카메라 제어 파라미터를 가변시킨다. 여기서, 카메라 제어 파라미터는 카메라 노출값, 컬러 게인값, 감마값 또는 블랙 레벨 등을 포함한다. 특히, 용접 영상 내에서 용접 부위의 밝기는 상당히 높기 때문에, 제어장치(120)는 카메라 제어 파라미터 중 컬러 게인값은 다음과 같이 제어한다. 용접 영상의 컬러 게인값은 도 4에 도시되어 있다.

도 5은 용접광의 스펙트럼을 도시한 도면이다.

용접광의 스펙트럼은 용접 방식이나 용접 부재(210)의 종류에 따라 약간의 차이는 발생하지만, 보편적으로 도 5와 같은 스펙트럼을 갖는다. 다른 파장대역에서는 상대적으로 높은 스펙트럼 강도가 발생하지만, 610 내지 750nm 파장대역(410)에서는 상대적으로 상당히 낮은 스펙트럼 강도가 발생한다. 이러한 특성에 따라, 카메라 장치의 해당 파장대역(410)에 대한 컬러 게인값이 다른 컬러 게인값보다 높아지면, 용접 영상 내에서 용접 부위는 상대적으로 어둡게 필터링한 듯한 효과가 발생할 수 있다.

도 5에는 상대적으로 낮은 스펙트럼 강도를 갖는 파장대역이 610 내지 750nm 파장대역(410)인 것으로 도시되어 있으나, 이러한 파장대역은 용접환경이나 모재가 달라짐에 따라 달라질 수 있다.

다시 도 1을 참조하면, 제어장치(120)는 카메라 장치(110)가 자신의 카메라 제어 파라미터를 가변하여 복수의 용접 영상을 촬영하도록 한다.

제어장치(120)는 수신한 복수의 영상 내에서 기 설정된 객체를 식별하여 정보를 추출한다. 여기서, 기 설정된 객체는 착용자가 용접하는데 있어 필요한 대상으로서, 용접 토치(220), 용접 화구(225) 및 마커(240, 모재와 대응)를 포함한다. 제어장치(120)는 카메라 제어 파라미터가 상이한 복수의 영상 중 각 기 설정된 객체를 식별하는데 적합한 영상을 이용하여 기 설정된 객체를 식별하여 정보를 추출한다. 제어장치(120)는 추출하는 정보로는 객체의 좌표(위치) 등이 포함된다.

제어장치(120)는 추출한 정보를 포함하는 객체 트래킹 영상을 생성한다. 제어장치(120)는 영상으로부터 지속적으로 객체의 좌표 등을 추출하기 때문에, 작업자가 용접을 완료한 경로를 생성할 수 있다. 또한, 제어장치(120)는 작업자로부터 최초 용접이 진행되기 이전에, 용접을 수행할 경로를 입력받는다. 제어장치(120)는 용접을 수행할 경로, 현재 객체의 좌표 및 용접을 완료한 경로를 토대로 객체 트래킹 영상을 생성한다.

표시장치(130)는 제어장치(120)가 생성한 객체 트래킹 영상을 출력한다. 표시장치(130)는 작업자의 시야각 내의 일 부분에 영상을 출력하여, 작업자가 용접에 필요한 정보를 인지할 수 있도록 한다. 나아가, 표시장치(130)는 카메라 장치(110)가 촬영한 영상이나 제어장치(120)가 수신한 복수의 영상을 정보와 함께 출력할 수 있다. 이에, 작업자가 용접 부위를 보다 명확히 인지할 수 있도록 한다.

도 6은 본 발명의 일 실시예에 따른 제어 장치의 구성을 도시한 도면이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 제어 장치(120)는 사용자 입력부(310), 카메라 제어부(320), 학습부(330), 메모리부(340) 및 객체 트래킹부(350)를 포함한다.

사용자 입력부(310)는 작업자로부터 용접 환경의 정보를 입력받는다. 사용자 입력부(310)는 작업자로부터 용접 이전에 용접 환경의 정보를 입력받는다. 용접 환경의 정보는 용접 방식이나 용접 부재(210)의 종류와 같이 영상의 품질을 가변시킬 수 있는 정보를 의미한다. 용접 방식이나 용접 부재(210)의 종류가 달라질 경우, 용접 부위에서 발생하는 광의 스펙트럼 등이 가변될 수 있어, 영상 내에서 기 설정된 객체를 온전히 인식하기 위한 카메라 제어 파라미터가 달라져야 한다. 카메라 제어부(320)가 작업자의 용접 환경에 적합한 카메라 제어 파라미터로 카메라 장치(110)를 제어할 수 있도록, 사용자 입력부(310)는 작업자로부터 용접 환경의 정보를 입력받는다.

또한, 사용자 입력부(310)는 작업자로부터 용접을 수행할 경로를 입력받을 수 있다. 객체 트래킹부(350)가 객체 트래킹 영상을 생성함에 있어, 용접을 수행할 경로도 출력되는 것이 작업자의 작업 효율을 향상시킬 수 있다. 이에, 사용자 입력부(310)는 작업자로부터 용접을 수행할 경로를 입력받을 수 있다.

카메라 제어부(320)는 입력받은 용접 환경에 적합한 카메라 제어 파라미터들을 선택하여, 카메라 장치(110)가 선택된 카메라 제어 파라미터들로 복수의 용접 영상을 촬영하도록 제어한다. 카메라 제어부(320)는 카메라 장치(110)가 기 설정된 객체들을 식별하기에 적합한 카메라 제어 파라미터들로 설정하여 영상을 촬영하도록 제어한다. 카메라 제어부(320)의 제어에 따라 카메라 제어 파라미터들이 가변된 촬영 영상은 도 7a 내지 도 7d에 도시되어 있다.

도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 카메라 장치가 제어장치의 제어에 의해 카메라 제어 파라미터를 가변하여 촬영한 영상을 도시한 도면이다.

도 7a는 카메라 제어부(320)에 의해 카메라 장치(110)의 카메라 제어 파라미터 중 노출값은 상대적으로 가장 적게 설정되며, 파장대역(410)에 관한 컬러 게인값이 높이지 않은 상태로 설정되었을 때의 영상이다. 도 7a에서는 노출값이 가장 적기 때문에, 용접 토치(220)나 모재 내 마커(240)는 인지되지 않으며, 가장 밝은 부위인 용접 화구(225) 만이 인지된다. 이에, 해당 영상으로부터 용접 화구(225)의 좌표(위치)가 정확히 식별될 수 있다.

도 7b는 도 7a에 비해 상대적으로 노출값은 높게 설정되며, 파장대역(410)에 관한 컬러 게인값이 상대적으로 높아진 상태로 설정되었을 때의 영상이다. 이에, 용접 화구(225)와 함께 용접 토치(220)가 명확히 인지된다. 이에, 해당 영상으로부터 용접 토치(220)의 좌표(위치)가 식별될 수 있다.

도 7c 및 7d는 도 7a 또는 도 7b에 비해 상대적으로 노출값과 파장대역(410)에 관한 컬러 게인값이 더 높게 설정되었을 때의 영상이다. 영상 내에서 모재 내 포함된 마커(240a, 240b)가 추가적인 위치에서 추가로 인지되기에, 마커(240a, 240b)가 명확히 인지된다.

다시 도 6을 참조하면, 카메라 제어부(320)는 입력받는 용접 환경을 참조하여, 도 7a 내지 도 7d와 같이 각 기 설정된 객체가 명확히 인지될 수 있는 카메라 제어 파라미터를 메모리부(340) 내에서 선택한다. 카메라 제어부(320)는 선택한 카메라 제어 파라미터들로 가변하며 촬영하도록 카메라 장치(110)를 제어하며, 카메라 장치(110)로부터 복수의 영상을 수신한다.

학습부(330)는 복수의 다양한 용접 영상 내 기 설정된 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하여 저장한다. 학습부(330)의 학습과정은 도 8 및 도 9에 예시되어 있다.

도 8 및 도 9는 본 발명의 일 실시예에 따른 학습부가 학습하는 과정의 일 예를 도시한 도면이다.

학습부(330)는 CNN 알고리즘, YOLO(You Only Look Once) 알고리즘, Faster RCNN 알고리즘 등 다양한 객체 탐지 알고리즘을 사용할 수 있다. 객체 탐지 알고리즘 중 CNN은 입력계층, 출력 계층, 입력계층과 출력계층 사이의 여러 은닉 계층으로 구성되고, 각 계층은 해당 데이터만이 갖는 특징을 학습하기 위해 데이터를 변경하는 계산을 수행하는데, 가장 사용되는 계층으로는 컨벌루션, 활성화/ReLU(Rectified Linear Unit), 풀링 등이 있다.

컨벌루션은 각 이미지에서 특정 특징을 활성화하는 컨벌루션 필터 집합에 입력 이미지를 통과시킨다. ReLU는 음수 값을 0에 매핑하고 양수 값을 유지하여 더 빠르고 효과적인 학습을 가능하게 하는데, 활성화된 특징만 다음 계층으로 전달되기 때문에 이 과정을 활성화라 부르기도 한다. 풀링은 비선형 다운샘플링을 수행하고 네트워크에서 학습해야 하는 매개 변수 수를 줄여서 출력을 간소화한다.

학습부(330)는 메모리부(340) 내 저장된 기 설정된 객체에 대해 많은 영상들로부터 기 설정된 객체에 대한 특징 정보를 학습한 후에 분류 계층을 사용하여 분류 출력을 제공한다. 특히, 학습부(330)는 다양한 용접 환경에서 촬영된 용접 영상들을 수집하여 학습 데이터로 사용하는데, 작업자의 시선, 작업자와 용접 토치 간의 거리, 용접 토치와 용접선까지의 거리, 작업자와 피용접물 간의 거리, 조명 환경, 작업 환경, 피용접물의 반사 특성 또는 다양한 밝기의 용접광 등 다양한 변수들을 갖는 용접 영상들을 학습할 수 있다.

학습부(330)는 입력 데이터(용접 영상)와 출력 데이터(기 설정된 객체의 특징)의 쌍으로 구성되는 학습 데이터를 저장하고, 새로운 입력 데이터가 들어오면 저장된 학습 데이터를 이용하여 출력 데이터를 예측할 수 있다.

메모리부(340)는 각 용접 환경에 적합한 카메라 제어 파리미터 및 학습부(330)가 학습데이터를 생성할 수 있도록 하는 복수의 용접 영상을 저장한다.

메모리부(340)는 다양한 용접 환경에 적합한 카메라 제어 파라미터들을 저장해 둔다. 사용자 입력부(310)가 작업자로부터 용접 환경을 입력받을 경우, 카메라 제어부(320)가 입력받은 용접 환경에 적합한 카메라 제어 파라미터를 선택할 수 있도록 제공한다.

또한, 학습부(330)가 용접 영상으로부터 기 설정된 객체의 특징을 학습하여 학습 데이터를 생성할 수 있도록, 메모리부(340)는 다양한 용접 영상을 저장하며 학습부(330)로 제공한다. 메모리부(340)는 카메라 장치(110)가 제공한 복수의 영상들을 추가로 저장함으로써, 학습부(330)가 해당 영상도 학습할 수 있도록 한다.

객체 트래킹부(350)는 카메라 제어부(320)가 수신한 복수의 영상으로부터 객체를 식별하여 객체 트래킹 영상을 생성한다.

객체 트래킹부(350)는 카메라 제어부(320)가 수신한 복수의 영상을 전처리한 후, 학습부(330)의 학습데이터를 이용하여 기 설정된 객체를 식별한다. 객체 트래킹부(350)는 도 7을 참조하여 전술했듯이, 각 카메라 파라미터가 상이한 영상 내에서 학습부(330)가 학습한 기 설정된 객체 각각을 식별한다. 다만, 객체 트래킹부(350)는 기 설정된 객체를 식별하기에 앞서, 식별력을 향상시키기 위해 각 영상들의 전처리를 수행한다. 카메라 제어 파라미터가 달라짐에 따라 블랙영상이 상이해진다. 여기서, 블랙 영상은 센서의 노이즈를 확인하기 위한 영상으로서 카메라에 캡을 씌워 촬영한 영상에 해당한다. 블랙 영상의 예시는 도 8a 및 도 8b에 도시되어 있다.

도 8a 및 도 8b는 카메라 제어 파라미터가 다른 카메라 장치의 블랙영상의 일 예를 도시한 도면이다.

도 8(a)와 도 8(b)는 카메라 제어 파라미터가 상이하게 설정된 카메라 장치의 블랙영상이다. 카메라에 캡이 씌워질 경우, 이론상으론 동일한 밝기로 어둡게 촬영되어야 한다. 그러나 각 카메라 제어 파라미터에 따라 센서의 노이즈가 상이해지며, 도 8(a)와 도 8(b)와 같이 상이한 블랙 영상이 발생하게 된다. 이처럼 상이한 블랙영상은 객체 트래킹부가 영상 내에서 기 설정된 객체를 식별하는데 악영향을 미칠 수 있다.

이를 해소하고자, 객체 트래킹부(350)는 기 설정된 객체의 식별 이전에 복수의 영상들의 각 카메라 제어 파라미터에 대응하는 블랙영상 각각을 차감하는 전처리를 수행한다.

전처리를 수행한 후, 객체 트래킹부(350)는 각 영상 내에서 기 설정된 객체를 식별하여, 객체의 좌표를 추출한다. 객체 트래킹부(350)는 학습부(330)에서 생성한 학습 데이터를 이용하여, 각 카메라 파라미터가 상이한 영상 내에서 기 설정된 객체를 식별하여 좌표를 추출한다. 특히, 객체 트래킹부(350)는 용접 토치(225)의 식별이 가장 용이한 영상 내에서 용접 토치(220)가 식별되는지 여부로 용접의 개시나 용접의 종료를 인지할 수 있다.

이때, 객체 트래킹부(350)는 용접 영상 내에서 빛(용접광)의 노출 강도가 높은 이미지 영역, 즉 마커 수단(221)을 포함한 영역을 ROI 영역으로 추출한 후, ROI 영역 내에서 픽셀 밝기값이 최대값을 갖는 픽셀들이 분포된 지점을 마커 수단(221)의 위치로 검출하고, 검출된 위치를 용접 토치(220) 방향으로 쉽게 식별할 수 있다. 이때, 객체 트래킹부(350)는 복수 개의 마커 수단(221)이 서로 다른 색상을 갖는 경우에, 주변 픽셀들과의 색상값과 밝기값을 비교하여 마커 수단(221)의 위치를 검출할 수도 있다.

용접의 개시를 인지한 경우, 객체 트래킹부(350)는 각 영상 내에서 기 설정된 객체를 식별하여, 객체의 좌표를 추출한다. 객체 트래킹부(350)는 기 설정된 객체를 식별함에 있어, 각 영상을 HDR(High Dynamic Range) 영상 등과 같이 합성한 후 합성한 영상에서 식별할 수도 있다. 다만, 바람직하게는 객체 트래킹부(350)는 전술한 각 영상을 합성하지 않고 각 영상 내에서 기 설정된 객체를 식별한다. 각 영상을 합성함에 있어 일정한 시간이 소모되기에 실시간성이 떨어지며, 합성을 위해 추가적으로 고가의 구성(예를 들어, 연산장치)이 더 포함되어야 하는 문제가 발생한다. 또한, 각 영상이 합성되거나 톤 매핑(Tone Mapping)됨에 있어, 각 영상의 카메라 제어 파라미터에 따라 합성 영상의 품질이 크게 달라져 오히려 기 설정된 객체의 인식율이 떨어질 수 있다. 이에, 바람직하게는 객체 트래킹부(350)는 전술한 각 영상을 합성하지 않고 각 영상 내에서 기 설정된 객체를 식별한다.

객체 트래킹부(350)는 추출한 각 기 설정된 객체들의 좌표만을 포함하는 객체 트래킹 영상을 생성할 수도 있고, 용접이 수행되며 변화한 기 설정된 객체들의 좌표의 궤적(용접을 완료한 경로)을 객체 트래킹 영상에 추가하여 생성할 수도 있다. 객체 트래킹부(350)는 이와 함께 (사용자 입력부(310)가 입력받은) 용접을 수행할 경로를 추가하여 객체 트래킹 영상을 생성할 수도 있다. 이에, 작업자는 자신이 용접을 해온 경로, 현재 진행 중인 용접 상황 및 앞으로 용접을 해야할 경로 모두를 객체 트래킹 영상 내에서 확인할 수 있다.

도 1 내지 10을 참조하여 설명한, 용접 공정에서의 객체 트래킹 장치(100)는 하나의 카메라 장치(110)를 포함하며, 제어장치(120)가 카메라 장치의 카메라 제어 파라미터를 변경하여 복수의 영상을 얻는 것으로 언급되고 있으나, 반드시 이에 한정되는 것은 아니다. 용접 공정에서의 객체 트래킹 장치(100) 내 복수의 카메라 장치가 포함될 수 있으며, 제어장치(120)는 각 카메라 장치의 카메라 제어 파라미터를 서로 다르게 설정하여 복수의 영상을 획득할 수도 있다. 이처럼, 복수의 카메라 장치가 포함될 경우, 제어장치(120)가 각 카메라의 카메라 제어 파라미터를 설정할 수도 있고, 제어장치(120)가 작업자에 의해 임의로 설정된 카메라 제어 파라미터를 작업자로부터 입력받아 설정할 수도 있다.

도 11은 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 장치가 기 설정된 객체를 트래킹하는 방법을 도시한 순서도이다.

제어장치(120)는 사용자로부터 용접 환경에 대한 입력을 수신한다(S910), 이와 함께, 제어장치(120)는 사용자로부터 용접을 수행할 경로에 관한 입력을 추가로 수신할 수 있다.

제어장치(120)는 입력된 용접환경에 부합하는 카메라 제어 파라미터를 설정한다(S920).

카메라 장치(110)는 용접 영상을 촬영한다(S930).

제어장치(120)는 각 카메라 제어 파라미터에 따른 다중 영상을 수신한다(S940).

제어장치(120)는 다중 영상 내 기 설정된 객체를 식별하여 정보를 추출한다(S950). 제어장치(120)는 기 설정된 객체의 식별을 위해, 복수의 다양한 용접 영상 내 기 설정된 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성한다. 제어장치(120)는 생성된 학습데이터를 이용하여 각 영상 내에서 기 설정된 객체를 식별한다.

이때, 제어장치(120)는 마커 수단(221)이 장착된 용접 토치(220)가 기 설정된 객체인 경우, 도 12에 도시된 바와 같이 용접 영상에서 마커 수단(221)을 포함한 ROI 영역을 추출하고(S951), ROI 영역 내 마커 수단(221)의 위치를 통해 용접 토치(220)를 확인하여 기 설정된 객체를 손쉽게 식별할 수 있다(S952, S953).

이때, 마커 수단(221)은 용접 광을 카메라 장치(110) 방향 쪽으로 반사 또는 굴절시키는 재질로 형성되어 있다. 따라서, 카메라 장치(100)에서 획득한 용접 영상에서 마커 수단(221)을 포함한 이미지 영역은 주변 이미지 영역의 픽셀 밝기값보다 높은 밝기 값을 갖게 된다. 즉, 마커 수단(221)은 용접광이나 주변 조명 환경에 비해 노출 강도가 높아지도록 의도적으로 노출되어, 용접 영상 내에서 용접광의 강한 빛에서도 쉽게 구별될 수 있다. 따라서, 제어 장치(120)는 용접 영상에서 전체 픽셀의 평균 밝기값보다 높은, 즉 픽셀 밝기값이 최고치인 픽셀들이 최다 분포되어 있는 영역을 ROI 영역으로 설정할 수 있고, ROI 영역 내에서 마커 수단(221)의 위치를 용접 토치(220)의 방향, 즉 기 설정된 객체로 쉽게 식별할 수 있다.

제어장치(120)는 용접의 개시를 인지할 수 있다. 용접의 개시를 인지한 경우, 제어장치(120)는 각 영상 내에서 기 설정된 객체를 식별하여, 객체의 좌표를 추출한다. 제어장치(120)는 식별한 객체의 정보를 추출하여 객체 트래킹 영상을 생성한다.

표시 장치(130)는 기 설정된 객체 정보를 출력한다(S960), 표시 장치(130)는 객체 트래킹 영상을 출력한다(S960).

제어장치(120)는 용접의 종료 여부를 판단한다(S970). 제어장치(120)는 용접 화구(225)를 식별하기에 용이한 영상 내에서 용접화구(225)가 식별되는지 여부로 용접의 종료여부를 판단한다. 용접이 종료된 경우, 제어장치(120)는 동작을 종료한다. 반대로, 용접이 종료되지 않은 경우, 지속적으로 카메라 장치(110)가 각 카메라 제어 파라미터에 따른 영상을 촬영하며 전술한 S930 내지 S970 과정이 반복된다.

도 11에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 각 도면에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 9는 시계열적인 순서로 한정되는 것은 아니다.

한편, 도 11에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 용접 공정에서의 객체 트래킹 장치
110: 카메라 장치
120: 제어 장치
130: 표시 장치
210: 용접 부재
220: 용접 토치
225: 용접 화구
230: 모재
240: 마커
310: 사용자 입력부
320: 카메라 제어부
330: 학습부
340: 메모리부
350: 객체 트래킹부

Claims (21)

1. 용접 영상 내 기 설정된 객체를 트래킹하여 출력하는 용접 공정에서의 객체 트래킹 장치에 있어서,
   모재 및 상기 모재를 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치;
   상기 카메라 장치의 카메라 제어 파라미터를 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라 장치로부터 수신하여, 수신한 영상 내에서 상기 기 설정된 객체를 식별하여 객체 트래킹 영상을 생성하는 제어장치; 및
   상기 카메라 장치가 촬영한 영상, 상기 제어장치가 수신한 복수의 영상 또는 상기 제어장치가 생성한 객체 트래킹 영상을 출력하는 출력장치를 포함하며,
   상기 카메라 제어 파라미터는 카메라 노출값, 카메라 센서 컬러 게인값, 감마값 및 블랙라벨 중 일부 또는 전부를 포함하고,
   상기 제어장치는 카메라 센서 컬러 게인값이 용접광의 스펙트럼 강도가 상대적으로 낮은 파장대역을 갖도록 가변시켜 용접 화구의 식별력을 향상시키는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치.
2. 제1항에 있어서,
   상기 모재는,
   상기 제어장치가 인식할 수 있는 마커를 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치.
3. 제2항에 있어서,
   상기 기 설정된 객체는,
   용접 토치, 용접화구 및 상기 모재 내 포함된 마커를 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치.
4. 제1항에 있어서,
   상기 용접 토치는,
   상기 모재에 접촉되는 용접 화구의 상단부에 용접시 발생되는 용접 광을 상기 카메라 장치 방향으로 굴절시키도록 굴절 및 내열 재질로 형성된 적어도 하나 이상의 마커 수단을 더 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치.
5. 제1항에 있어서,
   상기 용접 토치는,
   상기 모재에 접촉되는 용접 화구의 상단부에 용접시 발생되는 용접 광을 상기 카메라 장치 방향으로 반사시키도록 반사 및 내열 재질로 형성된 적어도 하나 이상의 마커 수단을 더 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치.
6. 삭제
7. 제1항에 있어서,
   상기 객체 트래킹 영상은,
   각 기 설정된 객체들의 좌표를 포함하거나, 각 기 설정된 객체들의 좌표와 함께 용접이 수행되며 변화한 기 설정된 객체들의 좌표의 궤적을 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치.
8. 삭제
9. 제1항에 있어서,
   상기 제어장치는,
   수신한 각 영상에 각 카메라 제어 파라미터에 따른 카메라 장치의 블랙영상을 차감하는 전처리를 수행하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 장치.
10. 카메라를 이용하여 획득한 용접 영상 내 기 설정된 객체를 트래킹하는 트래킹 제어 장치에 있어서,
    사용자로부터 용접이 일어나는 용접 환경에 대한 입력을 수신하는 사용자 입력부;
    카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라로부터 수신할 수 있도록, 상기 카메라의 카메라 제어 파라미터를 가변시키는 카메라 제어부;
    복수의 용접 영상 내에서 기 설정된 객체를 지정하고, 기 설정된 객체에 대한 특징 정보를 기반으로 학습데이터를 생성하는 학습부;
    각 용접 환경에 적합한 카메라 제어 파리미터 및 상기 학습부가 학습데이터를 생성할 수 있도록 하는 복수의 용접 영상을 저장하는 메모리부; 및
    상기 카메라 제어부가 상기 카메라로부터 수신한 복수의 영상으로부터 상기 기 설정된 객체를 식별하여 객체 트래킹 영상을 생성하는 객체 트래킹부를 포함하고,
    상기 카메라 제어 파라미터는 카메라 노출값, 카메라 센서 컬러 게인값, 감마값 및 블랙라벨 중 일부 또는 전부를 포함하고,
    상기 카메라 제어부는 카메라 센서 컬러 게인값이 용접광의 스펙트럼 강도가 상대적으로 낮은 파장대역을 갖도록 가변시켜 용접 화구의 식별력을 향상시키는 것을 특징으로 하는 트래킹 제어장치.
11. 제10항에 있어서,
    상기 카메라 제어부는,
    상기 카메라의 카메라 제어 파라미터를 상기 사용자 입력부가 입력받은 용접 환경에 적합한 카메라 제어 파라미터로 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라로부터 수신하는 것을 특징으로 하는 트래킹 제어장치.
12. 제10항에 있어서,
    상기 기 설정된 객체는,
    용접 토치, 용접화구 및 모재 내 포함된 마커를 포함하는 것을 특징으로 하는 트래킹 제어장치.
13. 제12항에 있어서,
    상기 용접 토치는,
    상기 용접 화구의 상단부에 용접시 발생되는 용접 광을 상기 카메라 방향으로 굴절시키도록 굴절 및 내열 재질로 형성된 적어도 하나 이상의 마커 수단을 더 포함하는 것을 특징으로 하는 트래킹 제어장치.
14. 제12항에 있어서,
    상기 용접 토치는,
    상기 용접 화구의 상단부에 용접시 발생되는 용접 광을 상기 카메라 방향으로 반사시키도록 반사 및 내열 재질로 형성된 적어도 하나 이상의 마커 수단을 더 포함하는 것을 특징으로 하는 트래킹 제어장치.
15. 삭제
16. 제10항에 있어서,
    상기 객체 트래킹 영상은,
    각 기 설정된 객체들의 좌표를 포함하거나, 각 기 설정된 객체들의 좌표와 함께 용접이 수행되며 변화한 기 설정된 객체들의 좌표의 궤적을 포함하는 것을 특징으로 하는 트래킹 제어장치.
17. 객체 트래킹 장치가 카메라를 이용하여 획득한 용접 영상 내 기 설정된 객체를 트래킹하여 출력하는 용접 공정에서의 객체 트래킹 방법에 있어서,
    모재 및 상기 모재를 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 촬영과정;
    상기 카메라의 카메라 제어 파라미터를 가변시켜 카메라 제어 파라미터가 가변한 복수의 영상을 상기 카메라로부터 수신하는 수신과정;
    상기 수신과정에서 수신한 영상 내에서 상기 기 설정된 객체를 식별하여 객체 트래킹 영상을 생성하는 생성과정; 및
    상기 촬영과정에서 촬영되거나 상기 수신과정에서 수신한 영상 또는 상기 생성과정에서 생성된 객체 트래킹 영상을 출력하는 출력과정을 포함하며,
    상기 카메라 제어 파라미터는 카메라 노출값, 카메라 센서 컬러 게인값, 감마값 및 블랙라벨 중 일부 또는 전부를 포함하고,
    상기 객체 트래킹 장치는 카메라 센서 컬러 게인값이 용접광의 스펙트럼 강도가 상대적으로 낮은 파장대역을 갖도록 가변시켜 용접 화구의 식별력을 향상시키는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 방법.
18. 제17항에 있어서,
    상기 모재는,
    상기 객체 트래킹 장치가 인식할 수 있는 마커를 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 방법.
19. 제17항에 있어서,
    상기 기 설정된 객체는,
    용접 토치, 용접 화구 및 상기 모재 내 포함된 내열성 마커를 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 방법.
20. 제19항에 있어서,
    상기 용접 토치는,
    상기 용접 화구의 상단부에 용접시 발생되는 용접 광을 상기 카메라 방향으로 굴절 또는 반사시키는 재질로 형성된 적어도 하나 이상의 마커 수단을 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 방법.
21. 제17항에 있어서,
    상기 객체 트래킹 영상은,
    각 기 설정된 객체들의 좌표를 포함하거나, 각 기 설정된 객체들의 좌표와 함께 용접이 수행되며 변화한 기 설정된 객체들의 좌표의 궤적을 포함하는 것을 특징으로 하는 용접 공정에서의 객체 트래킹 방법.

Images