KR102266453B1 - 용접 공정에서의 객체 트래킹 장치 및 방법 - Google Patents

Abstract

본 발명은 적어도 하나 이상의 카메라를 이용하여 용접 영상을 모니터링하기 위한 용접 공정에서의 객체 트래킹 장치 및 방법에 관한 것으로서, 상기 카메라를 이용하여 피용접물을 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치; 및 상기 카메라 장치와 통신하여 상기 용접 영상을 수신하고, 상기 용접 영상에 대한 영상 처리를 통해 객체 추적 영상을 제공하는 제어 장치를 포함하되, 상기 제어 장치는, 상기 용접 영상에서 대상 객체를 지정하고, 상기 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하는 학습 모듈; 상기 카메라 장치를 통해 용접 영상이 수신되면, 상기 학습 데이터를 이용하여 상기 수신된 용접 영상에서 대상 객체를 식별하는 객체 식별 모듈; 기 설정된 시간 이내에 게인값 또는 노출값을 포함한 제어 파라미터를 서로 다르게 설정하여n개의 용접 영상을 취득하고, 상기 n개의 용접 영상 중 상기 대상 객체의 식별이 최고치인 용접 영상을 기준 영상으로 설정한 후, 상기 기준 영상을 기준으로 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 설정하는 카메라 제어 모듈; 및 상기 대상 객체를 실시간 추적하여 상기 대상 객체에 대한 객체 추적 영상을 제공하는 객체 추적 모듈을 포함하는 장치일 수 있다.

Description

용접 공정에서의 객체 트래킹 장치 및 방법{Apparatus and method for Object tracking in welding process}

본 발명은 명암대비가 과도한 용접 공정 환경에서 카메라를 이용하여 객체를 트래킹하는 기술에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

전기 용접(Arc welding)은 공기의 방전 현상을 이용하여 동일한 금속끼리 용접시키는 것으로서, 작업자가 비드의 형성 등을 주의 깊게 관찰하여 최상의 용접 품질이 나올 수 있도록 용접을 진행해야 한다.

한편, 레이저 용접은 레이저 광선으로 금속을 녹여 붙이는 용접으로서, 정교하고 미세한 부위를 용접하는데 사용되고 있다. 레이저 용접 또한 작업자가 눈으로 확인하면서 레이저 용접을 실행하기 때문에 용접시 발생하는 오차에 의해 정교하고 미세한 부위를 용접하는데 한계가 있다.

용접 작업시 작업자는 보호구 또는 보호 안경을 착용하게 되는데, 용접 작업과 동시에 용접기의 전기적 특성이나 용접선 등을 확인하면서 용접을 진행해야 하는데, 용접시 발생되는 빛이나 주변 환경으로 인해 용접 상황이 제대로 파악되지 않을 수 있다.

최근에는 보호구 또는 보호 안경에 장착된 카메라를 이용하여 용접 진행 과정을 모니터링할 수 있지만, 카메라가 전체 영상 밝기의 평균값을 기준으로 노출값을 조절하고 있어 영상의 평균 밝기보다 너무 어둡거나 밝은 빛에 노출될 경우에, 용접 작업 영상을 통해 용접 토치나 특정 대상체를 작업자가 일시적으로 식별할 수 없고, 그로 인해 용접 품질이 저하될 수 있는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 용접광이나 작업 환경 등으로 인해 명암 대비가 높은 용접 환경에서 촬영된 용접 영상에서 사용자가 지정한 대상 객체를 식별하여 추적하고, 그 결과를 AR 영상으로 제공하도록 하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 적어도 하나 이상의 카메라를 이용한 용접 영상을 통해 객체를 트래킹하기 위한 용접 공정에서의 객체 트래킹 장치에 있어서, 상기 카메라를 이용하여 피용접물을 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치; 및 상기 카메라 장치와 통신하여 상기 용접 영상을 수신하고, 상기 용접 영상에 대한 영상 처리를 통해 전체 영상 또는 대상 객체에 대한 객체 추적 영상을 제공하는 제어 장치를 포함하되, 상기 제어 장치는, 상기 용접 영상에서 적어도 하나 이상의 대상 객체를 지정하고, 상기 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하는 학습 모듈; 상기 카메라 장치를 통해 용접 영상이 수신되면, 상기 학습 데이터를 이용하여 상기 수신된 용접 영상에서 상기 대상 객체를 식별하는 객체 식별 모듈; 기 설정된 시간 이내에 게인값 또는 노출값을 포함한 제어 파라미터를 서로 다르게 설정하여 n개의 노출 영상을 취득하고, 상기 n개의 노출 영상 중 상기 대상 객체의 식별도가 최고치인 노출 영상을 기준 영상으로 설정한 후, 상기 기준 영상을 기준으로 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 설정하는 카메라 제어 모듈; 및 상기 카메라 제어 모듈을 통해 상기 대상 객체를 실시간 추적하여 상기 대상 객체에 대한 객체 추적 영상을 제공하는 객체 추적 모듈을 포함하는 장치일 수 있다.

상기 제어 장치는, 상기 대상 객체를 상기 피용접들 사이의 접합면인 용접선, 상기 용접 토치, 상기 용접 토치에 의해 용접된 용접부위, 식별 마커 중 적어도 어느 하나 이상을 지정하여 추적 가능한 범위를 설정하는 객체 설정 모듈을 더 포함할 수 있다.

상기 객체 추적 영상은 AR(Augmented reality) 영상일 수 있고, 상기 카메라 장치는, 용접 안경, 용접 보호구, 상기 용접 토치 중 어느 하나에 장착될 수 있다.

용접 공정에서의 객체 트래킹 장치는, 상기 제어 장치에 제어에 의해 상기 객체 추적 영상을 화면에 표시하는 표시 장치를 더 포함할 수 있다.

상기 대상 객체의 식별도가 최고치인 영상은 상기 노출 영상으로부터 상기 대상 객체 영역에 포함된 픽셀값만을 대상으로 산출된 히스토그램을 평활화하고, 상기 평활화된 히스토그램의 분산값을 사용하여 상기 분산값이 최대치를 갖는 영상일 수 있다.

상기 대상 객체의 식별도가 최고치인 영상은, 상기 노출 영상으로부터 상기 대상 객체 영역에 포함된 픽셀값만을 계산하여 최고 밝기의 픽셀값의 개수와 최하 밝기의 픽셀 값의 개수의 차이가 최소값을 갖는 영상일 수 있다.

한편, 본 발명의 다른 일 실시예에 따른 적어도 하나 이상의 카메라를 이용하여 용접 영상을 모니터링하기 위한 용접 공정에서의 객체 트래킹 장치에 있어서, 상기 카메라를 이용하여 피용접물을 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치; 및 상기 카메라 장치와 통신하여 상기 용접 영상을 수신하고, 상기 용접 영상에 대한 영상 처리를 통해 전체 영상 또는 대상 객체에 대한 객체 추적 영상을 제공하는 제어 장치를 포함하되, 상기 제어 장치는, 상기 용접 영상에서 적어도 하나 이상의 대상 객체를 지정하고, 상기 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하는 학습 모듈; 상기 카메라 장치를 통해 용접 영상이 수신되면, 상기 학습 데이터를 이용하여 상기 수신된 용접 영상에서 대상 객체를 식별하는 객체 식별 모듈; 상기 용접 영상에 대한 다중 노출 영상을 합성하여 HDR(High Dynamic Range) 영상을 생성하고, 상기 대상 객체의 픽셀값을 기준으로 상기 HDR 영상에 대한 톤매핑을 수행하는 카메라 제어 모듈; 및 상기 카메라 제어 모듈을 통해 상기 대상 객체를 실시간 추적하여 상기 대상 객체에 대한 객체 추적 영상을 제공하는 객체 추적 모듈을 포함하는 장치일 수 있다.

상기 카메라 제어 모듈은 상기 HDR 영상 전체의 평균 픽셀값이 기 설정된 임계값 이내인 경우에, 전체 영상에 대해 카메라 게인값 또는 노출값을 포함한 제어 파라미터에 대한 자동 설정 기능을 적용하고, 상기 HDR 영상 전체의 평균 픽셀값이 기 설정된 임계값을 벗어나는 경우에, 상기 대상 객체 영역만 카메라 게인값 또는 노출값을 포함한 제어 파라미터에 대한 자동 설정 기능을 적용할 수 있다.

상기 카메라 제어 모듈은 조도 센서, 적외선 센서를 포함한 적어도 하나의 센서를 이용한 센서값을 이용하여 카메라 노출값을 계산할 수 있다.

본 발명의 일 실시예에 따른 적어도 하나 이상의 카메라를 이용하여 용접 영상을 모니터링하기 위한 용접 공정에서의 객체 트래킹 방법에 있어서, a) 추적 대상이 되는 적어도 하나 이상의 대상 객체를 설정하고, 상기 용접 영상에서 상기 대상 객체를 식별하는 단계; b) 상기 용접 영상에서 대상 객체가 식별되지 않는 경우에, 기 설정 시간 이내에 게인값 또는 노출값을 포함한 제어 파라미터를 서로 다르게 설정하여n개의 노출 영상을 획득하는 단계; c) 상기 n개의 노출 영상 중 상기 대상 객체의 식별도가 최고치인 노출 영상을 기준 영상으로 설정한 후, 상기 기준 영상을 기준으로 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 설정하는 단계; 및 d) 상기 대상 객체를 실시간 추적하여 상기 대상 객체에 대한 객체 추적 영상을 제공하는 단계를 포함하는 방법일 수 있다.

상기 a) 단계는, 상기 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하고, 상기 학습 데이터를 이용하여 상기 용접 영상에서 대상 객체를 식별하는 단계를 더 포함할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 용접광이나 작업 환경 등으로 인해 명암 대비가 높은 용접 환경에서 촬영된 용접 영상에서 사용자가 지정한 대상 객체를 실시간 식별 및 추적하기 위해 대상 객체를 중심으로 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 자동으로 변경하여 그 결과를 객체 추적 영상으로 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 장치의 구성을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 장치에서 촬영한 용접 영상을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 제어 장치의 구성을 설명하는 블록도이다.
도 4는 도 3의 객체 설정 모듈의 객체 설정을 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 학습 모듈의 구성을 설명하는 도면이다.
도 6은 도 5의 학습 모듈에 적용되는 CNN의 구성을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 방법을 설명하는 순서도이다.
도 8은 도 7의 카메라 노출값의 자동 제어 과정을 설명하는 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 '단말'은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, '단말'은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.

무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 장치의 구성을 설명하는 도면이고, 도 2는 본 발명의 일 실시예에 따른 카메라 장치에서 촬영한 용접 영상을 설명하는 도면이다.

용접 공정에서의 객체 트래킹 장치는, 카메라 장치(100), 제어 장치(200) 및 표시 장치(300)를 포함하지만 이에 한정되지는 않고, 카메라 장치(100), 제어 장치(200) 또는 표시 장치(300)는 독립 또는 통합되어 구현될 수 있다.

카메라 장치(100)는 복수의 카메라를 이용하여 피용접물을 용접하는 용접 토치(10)를 포함한 용접 영상을 촬영하여 제어 장치(200)로 전송한다. 이러한 카메라 장치(100)는 용접 안경, 용접 보호구, 용접 토치 중 어느 하나에 장착될 수 있다. 또한, 카메라 장치(100)는 용접 영상을 외부로 송출하는 통신 모듈(미도시)을 포함한다.

도 2에 도시된 바와 같이, 카메라 장치(100)는 자동 노출의 경우에 전체 영상 밝기의 평균값을 기준으로 노출값을 조절한다. 따라서, 카메라 장치(100)에 의해 촬영된 용접 영상은 영상 밝기의 평균값보다 너무 어둡거나 너무 밝은 경우에 용접 작업 영상, 관찰하고자 하는 대상 객체가 잘 드러나 보이지 않게 된다. 특히, 용접 작업시, 카메라에 자동 노출이 설정된 경우에 용접광은 매우 밝기 때문에 용접광 밝기에 따라 카메라 노출값이 제어되어 용접광 이외의 객체에 대한 시인성이 매우 떨어지게 된다. 따라서, 제어 장치(200)는 용접 작업 순서에 따라 자동 노출 기능을 온/오프하여 사용자가 지정한 대상 객체를 중심으로 카메라 노출값을 조절하여 대상 객체를 실시간 식별하여 추적할 수 있도록 한다. 일례로, 제어 장치(200)는 용접 작업 이전에 전체 영상을 보기 위해 객체 기반 노출값 제어 기능은 오프시키고 전체 영상 기반 노출값 제어 기능을 수행하며, 용접 작업 중에 용접광이 켜지면 전체 영상의 픽셀값이 기설정된 수준 이상으로 높아져 객체 식별이 어려울 경우에 추적하고자 하는 대상 객체를 중심으로 객체 기반 노출값 제어 기능을 수행한다.

이때, 제어 장치(200)는 카메라 노출값 뿐만 아니라 게인값, 감마값, 블랙 레벨 등의 카메라의 제어 파라미터를 조절하여 영상 화질을 결정하도록 할 수 있다.

제어 장치(200)는 카메라 장치(100)와 통신하여 용접 영상을 수신하고, 수신된 용접 영상에 대한 영상 처리를 통해 전체 영상이나 대상 객체에 대한 객체 추적 영상을 제공하는데, 용접광으로 인해 명암대비가 과도한 환경에 따라 대상 객체를 중심으로 카메라 노출값이 실시간 조절될 수 있도록 한다.

표시 장치(300)는 제어 장치(200)의 제어에 의해 객체 추적 영상을 화면에 표시한다.

도 3은 본 발명의 일 실시예에 따른 제어 장치의 구성을 설명하는 블록도이고, 도 4는 도 3의 객체 설정 모듈의 객체 설정을 설명하는 예시도이다. 도 5는 본 발명의 일 실시예에 따른 학습 모듈의 구성을 설명하는 도면이며, 도 6은 도 5의 학습 모듈에 적용되는 CNN의 구성을 설명하는 예시도이다.

도 3 내지 도 6을 참조하면, 제어 장치(200)는 학습 모듈(220), 객체 설정 모듈(210), 객체 식별 모듈(230), 카메라 제어 모듈(240), 객체 추적 모듈(250) 및 메모리(미도시)를 포함하지만 이에 한정되지는 않는다.

객체 설정 모듈(210)은 피용접(11, 12)들 사이의 접합면인 용접선, 용접 토치(10), 용접 토치(10)에 의해 용접된 용접부위, 식별 마커 중 적어도 어느 하나 이상을 대상 객체로 지정하여 추적 가능한 범위를 설정한다. 즉, 사용자는 도 4에 도시된 바와 같이, 객체 설정 모듈(210)을 통해 용접 영상 내 특정 객체, M×N(N≥M)영역, 객체의 길이, 객체의 무늬나 모양 등을 대상 객체로 설정할 수 있다. 특히, 용접 토치와 같은 용접 토치(10)는 용접선을 따라 용접이 안정적으로 진행되는지 확인하기 위해 대상 객체로 설정될 수 있는데, 용접 영상에서 용접광으로 인해 용접 토치(10) 자체가 잘 보이지 않아 작업자가 용접 진행에 어려움이 발생할 수 있다. 따라서, 용접 영상에서 용접 토치가 가장 잘 보이는 영상을 제공하는 것은 안정적이고, 용접 품질 향상에 많은 도움을 줄 수 있다.

학습 모듈(220)은 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하여 저장한다. 학습 모듈(220)은 도 4 및 도 5에 도시된 바와 같이, 학습해야 할 입력 데이터가 전달되면, 자동으로 대상 객체의 특징을 학습하고, 객체를 분류한다.

학습 모듈(220)은 CNN 알고리즘, YOLO(You Only Look Once) 알고리즘, Faster RCNN 알고리즘 등 다양한 객체 탐지 알고리즘을 사용할 수 있다. 객체 탐지 알고리즘 중 CNN은 입력계층, 출력 계층, 입력계층과 출력계층 사이의 여러 은닉 계층으로 구성되고, 각 계층은 해당 데이터만이 갖는 특징을 학습하기 위해 데이터를 변경하는 계산을 수행하는데, 가장 사용되는 계층으로는 컨벌루션, 활성화/ReLU(Rectified Linear Unit), 풀링 등이 있다.

컨벌루션은 각 이미지에서 특정 특징을 활성화하는 컨벌루션 필터 집합에 입력 이미지를 통과시킨다. ReLU는 음수 값을 0에 매핑하고 양수 값을 유지하여 더 빠르고 효과적인 학습을 가능하게 하는데, 활성화된 특징만 다음 계층으로 전달되기 때문에 이 과정을 활성화라 부르기도 한다. 풀링은 비선형 다운샘플링을 수행하고 네트워크에서 학습해야 하는 매개 변수 수를 줄여서 출력을 간소화한다.

학습 모듈(220)은 대상 객체에 대해 많은 이미지들을 수집하여 특징을 학습한 후에 분류 계층을 사용하여 분류 출력을 제공한다. 특히, 학습 모듈(220)은 다양한 용접 환경에서 촬영된 용접 영상들을 수집하여 학습 데이터로 사용하는데, 작업자의 시선, 작업자와 용접 토치 간의 거리, 용접 토치와 용접선까지의 거리, 작업자와 피용접물 간의 거리, 조명 환경, 작업 환경, 피용접물의 반사 특성, 다양한 밝기의 용접광 등 다양한 변수들을 갖는 용접 영상들을 학습 데이터로 이용할 수 있다.

학습 모듈(220)은 용접 영상에 대해 입력 데이터와 출력 데이터의 쌍으로 구성되는 학습 데이터를 저장하고, 새로운 입력 데이터가 들어오면 저장된 학습 데이터를 이용하여 출력 데이터를 예측할 수 있다.

객체 식별 모듈(230)은 카메라 장치(100)를 통해 용접 영상이 수신되면, 학습 데이터를 이용하여 수신된 용접 영상에서 대상 객체를 식별한다.

카메라 제어 모듈(240)은 기 설정된 시간 이내에 서로 다른 카메라 게인값 또는 노출값을 갖는 n개의 노출 영상을 취득하고, n개의 노출 영상 중 대상 객체의 식별이 최고치인 노출 영상을 기준 영상으로 설정한 후 기준 영상을 기준으로 카메라 노출값이 조절되도록 설정한다. 카메라 제어 모듈(240)은 용접 환경에 따라 노출값, 게인값, 감마값, 블랙 레벨 등의 카메라의 제어 파라미터를 적절히 다르게 설정하여 다양한 노출 영상을 취득할 수 있지만, 설명의 편의상 카메라 노출값을 다양하게 설정하여 n개의 노출 영상을 취득한 후 n개의 노출 영상을 이용하여 카메라 노출값을 자동 설정하는 기능을 설명하면 다음과 같다.

카메라 제어 모듈(240)은 카메라 노출값을 계산하기 위해 영상의 픽셀값 외에도, 조도 센서, 적외선 센서 등을 활용할 수 있다.

이때, 대상 객체가 2개 이상이고, 각 대상 객체의 재질 반사 특성이 서로 상이할 경우에, 카메라 제어 모듈(240)은 각 대상 객체의 추적에 적합한 다수의 노출 영상을 동시에 활용할 수 있다. 예를 들어, 낮은 카메라 노출값에서 잘 보이는 용접광과 중간 노출값에서 잘 보이는 용접 토치가 대상 객체인 경우에, 카메라 제어 모듈(240)은 카메라 노출값이 낮은 노출 영상, 카메라 노출값이 중간인 노출 영상을 번갈아 취득하면서 용접광과 용접 토치를 동시에 식별하여 추적할 수 있도록 한다.

또한, 카메라 제어 모듈(240)은 영상의 픽셀값을 메인 입력 데이터로 하고, 용접 공정에서 사용되는 식별 마커의 종류, 필터 농도, 용접 토치(10)의 전압/전류 값, 모재 정보(즉, 피용접물의 물성 정보) 등을 포함한 환경 변수들을 서브 입력 데이터로 한 후, 메인 입력 데이터와 서브 입력 데이터 간의 상관 관계를 반영하여 카메라 노출값을 계산할 수 있다. 따라서, 카메라 제어 모듈(240)은 서브 입력 데이터, 즉 용접 토치의 전압/전류 값, 모재 변경 등의 변화에 따라 자동으로 카메라 노출값에 대해 노출값 탐색 범위가 설정될 수 있다.

카메라 제어 모듈(240)은 마커의 종류, 모재 정보, 용접 토치의 전압/전류 값 등의 서브 입력 데이터에 따라 적합한 카메라 노출값 범위 이내에서 객체의 시인성에 대한 테스트를 수행하고, 그 테스트 결과를 메모리에 저장한 후 서브 입력 데이터가 변경될 때마다 메모리에 저장된 테스트 결과를 이용하여 노출값 탐색 범위를 제공할 수 있다. 용접 작업시 주변 환경이나 작업 요소의 변화에 따라 카메라 노출값에 영향을 주는 요소들이 매우 많기 때문에, 메모리에 저장된 테스트 결과는 카메라 노출값의 초기값 설정에 유용한 정보로 활용될 수 있다. 일례로, 용접 토치의 전압이 기존에 비해 2배로 높아지는 경우에, 테스트 결과를 토대로 노출값 탐색 범위를 1/2배로 하여 카메라 노출값 탐색시 초기값을 제공하여 노출값 탐색 범위를 좁혀줄 수 있다.

객체 추적 모듈(250)은 대상 객체를 실시간 추적하여 대상 객체에 대한 객체 추적 영상을 제공한다. 이때, 객체 추적 모듈(250)과 카메라 제어 모듈(240)은 서로 연동하여, 카메라 제어 모듈(240)은 객체 추적 모듈(250)에서 추적하는 대상 객체에 대한 픽셀값을 이용하여 카메라 노출값을 실시간 자동으로 제어하여 대상 객체가 가장 잘 보이는 영상을 객체 추적 영상으로 제공할 수 있도록 한다. 따라서, 카메라 제어 모듈(240)은 대상 객체가 용접 토치인 경우에, 용접 토치의 표면 반사도에 적응하여 카메라 노출값을 자동으로 변경할 수 있다. 즉, 용접 토치의 재질에 따라 반짝임이나 밝기 등 용접 토치의 표면 반사도가 높은 경우에 용접광으로 인한 반사 현상으로 용접 영상에서 용접 토치가 잘 보이지 않게 된다. 따라서, 카메라 제어 모듈(240)은 용접광이나 주변광에 의해 대상 객체의 픽셀값이 기 설정된 허용 범위 이상 또는 이하가 되는 경우, 카메라 노출값을 자동으로 낮추거나 높여서 대상 객체의 픽셀값이 허용 범위 이내가 되도록 실시간 변경하여 조명 환경에 강건한 대상 객체의 추적이 가능하도록 한다.

이때, 객체 추적 영상은 AR(Augmented reality) 영상이 될 수 있고, 제어 장치(200)는 실제 용접 영상에서 대상 객체를 3차원으로 정합하여 증강현실을 구현할 수 있다. 이때, 본 발명은 대상 객체가 잘 보이도록 카메라 노출값을 자동으로 설정하기 때문에 AR 영상을 제공하기 위해 고가이면서 부피가 큰 HDR 카메라를 부착하지 않아도 되고, 일반적인 AR 장치에 사용하는 카메라가 DR 카메라에 비해 감광 범위가 제한적인 점을 보완할 수 있다.

또한, 제어 장치(200)는 객체 추적 영상을 사용자 단말(미도시)에 제공할 수 있도록 무선 통신 모듈을 포함하고, 사용자 단말은 객체 추적 영상을 통해 용접 작업의 건전성을 판단한 후, 판단 결과를 작업자에게 알려줄 수도 있다.

여기서, 사용자 단말은 통신 모듈(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있다. 이때, 사용자 단말은 휴대폰이나 PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다.

도 7은 본 발명의 일 실시예에 따른 용접 공정에서의 객체 트래킹 방법을 설명하는 순서도이다.

도 7을 참조하면, 용접 공정에서의 객체 트래킹 방법은, 카메라 장치(100)를 통해 용접 영상을 촬영하고, 촬영된 용접 영상이 제어 장치(200)로 전송되면, 용접 영상 내에 추적하고자 하는 대상 객체를 설정한다(S110).

제어 장치(200)는 사전 학습 과정을 통해 대상 객체에 대해 학습 데이터를 생성하여 저장하고(S120), 새로운 용접 영상이 수신되면(S130), 저장된 학습 데이터를 이용하여 용접 영상 내 대상 객체를 식별한다(S140). 이때, 제어 장치(200)는 사전 학습 과정에서 용접 토치 뿐만 아니라 모재, 마커 등의 객체 등에 대한 학습 데이터를 생성하여 저장한다. 만일, 제어 장치(200)는 용접하는 과정 중에 트래킹하고자 하는 대상 객체가 추가되는 경우에 추가된 대상 객체에 대해 기 저장된 학습 데이터가 없으면 용접 과정 중에 발생되는 용접 영상을 이용하여 추가된 대상 객체에 대한 학습 데이터를 생성할 수 있다.

제어 장치(200)는 학습 모듈(220)을 통해 머신 러닝 기반의 객체 식별 알고리즘을 수행하여 대상 객체 이미지에 대한 학습 데이터를 생성하므로, S140 단계에서 다양한 카메라 노출값을 갖는 용접 영상에서 식별된 대상 객체 이미지를 다시 학습 데이터로 재활용할 수 있다.

이때, 용접 영상 내에서 대상 객체가 식별되지 않으면, 다양한 카메라 게인값, 노출값을 포함한제어 파라미터를 이용해 촬영된 다수의 노출 영상에서 대상 객체가 가장 잘 보이는 영상을 기준 영상으로 설정하고(S150), 기준 영영상의 픽셀값을 이용하여 대상 객체를 실시간 추적하면서 카메라 제어 파라미터를 자동으로 제어한다.(S160, S170)

제어 장치(200)는 대상 객체에 대한 추적 결과를 실시간 객체 추적 영상으로 제공하고, 표시 장치(300)에 객체 추적 영상이 AR 영상으로 출력되도록 한다(S180).

한편 도 7의 단계 S110 내지 S180은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.

도 8은 도 7의 카메라 노출값의 자동 제어 과정을 설명하는 순서도이다.

도 8을 참조하면, 카메라 제어 모듈(240)은카메라 노출값을 이용해 촬영된 노출 영상을 이용해 각 영상 전체의 평균 픽셀값을 계산한다(S210). 이때, 다양한 카메라 노출값을 이용해 촬영된 노출 영상은 다중 노출 영상이 되고, 이 다중 노출 영상을 이용하여 HDR 영상을 생성할 수 있다. 카메라 제어 모듈(240)은 카메라 노출값 뿐만 아니라 게인값, 감마값, 블랙 레벨 등 제어 파라미터를 다양하게 설정하여 노출 영상을 획득할 수도 있다.

카메라 제어 모듈(240)은 HDR 영상에서 대상 객체를 중심으로 톤 매핑하여 일반 영상으로 변환한다. HDR 영상의 경우에 전용 뷰어로만 볼 수 있기 때문에 톤 매핑을 통해 일반 영상으로 변환하여 보여준다. 이때, HDR 영상은 어두운 부분에서 뭉게지거나 밝은 곳에서 날아가는 부분을 최소화함으로써 영상 내 사실적 표현력을 극대화하여 표현하는 것이다.

한편, 카메라 제어 모듈(240)은 다양한 카메라 노출값을 이용해 촬영된 노출 영상들을 이용하여 대상 객체가 가장 잘 보이는 노출 영상을 기준으로 카메라 노출값을 조절할 수 있다. 이때, 각 카메라 노출값은 대상 객체가 가장 잘 보이는 노출값을 중심으로 기 설정된 값을 가감하여 설정될 수 있다.

즉, 카메라 제어 모듈(240)은 다중 노출 영상 중에서 대상 객체의 식별도가 최고치인 노출 영상을 기준 영상으로 설정하는데, 대상 객체의 식별도가 최고치인 노출 영상은 대상 객체 영역의 픽셀값으로부터 산출된 히스토그램을 평활화하고, 평활화된 히스토그램의 분산값을 사용하여 분산값이 최대치를 갖는 영상이거나, 대상 객체 영역의 픽셀값을 계산하여 최고 밝기의 픽셀값의 개수와 최저 밝기의 픽셀 값의 개수의 차이가 최소값을 갖는 영상이 될 수 있다.

카메라 제어 모듈(240)은 전체 영상의 평균 픽셀값이 기 설정된 임계값 이내인 경우에, 영상의 전체에 대해 카메라 노출값에 대한 자동 설정 기능을 적용하지만, 영상 전체의 평균 픽셀값이 기 설정된 임계값을 벗어나는 경우에, 대상 객체 영역만 카메라 노출값에 대한 자동 설정 기능을 적용하게 된다. 즉, 용접광이 켜지기 전에는 용접보다는 영상 전체를 보기 위해 객체 추적 기능을 오프시켜 대상 객체를 중심으로 카메라 노출값을 자동 조절하지 않도록 하고, 용접광이 켜져 영상 전체 픽셀값이 기 설정된 임계값 이상일 경우에 객체 추적 기능을 온시켜 대상 객체를 중심으로 카메라 노출값을 조절하도록 한다.

한편, 본 발명은 용접 토치가 용접광에 의해 용접 영상에서 잘 보이지 않는 것을 방지하기 위해, 용접 토치를 용접 열에 강하면서 반짝이지 않는 난반사 재질의 금속 재질이나 세라믹 재질로 형성하거나, 용접 토치의 일부 영역 재질을 난반사 특성을 갖는 색상(예를 들어, 무광 검정 색, 펄 색상)의 재질로 형성할 수 있다.

이상에서 설명한 본 발명의 실시예에 따른 용접 공정에서의 객체 트래킹 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 카메라 장치
200 : 제어 장치
210 : 객체 설정 모듈
220 : 학습 모듈
230 : 객체 식별 모듈
240 : 카메라 제어 모듈
250 : 객체 추적 모듈
300 : 표시 장치

Claims (12)

1. 적어도 하나 이상의 카메라를 이용한 용접 영상을 통해 객체를 트래킹하기 위한 용접 공정에서의 객체 트래킹 장치에 있어서,
   용접 안경, 용접 보호구, 용접 토치 중 어느 하나에 장착되고, 상기 카메라를 이용하여 피용접물을 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치; 및
   상기 카메라 장치와 통신하여 상기 용접 영상을 수신하고, 상기 용접 영상에 대한 영상 처리를 통해 전체 영상 또는 대상 객체에 대한 객체 추적 영상을 제공하고, 용접 작업 이전에 전체 영상을 보기 위해 전체 영상의 평균 픽셀값이 기 설정된 임계값 이내인 경우에 객체 기반 노출값 제어 기능을 오프시키고, 전체 영상의 평균값을 기준으로 카메라의 제어 파라미터를 조절하는 전체 영상 기반 노출 값 제어 기능을 수행하며, 용접 작업 중에 용접광이 켜지면 전체 영상의 픽셀값이 기설정된 수준 이상인 경우에 대상 객체를 중심으로 카메라의 제어 파라미터를 조절하는 객체 기반 노출값 제어 기능을 수행하는 제어 장치를 포함하되,
   상기 제어 장치는,
   상기 용접 영상에서 적어도 하나 이상의 대상 객체를 지정하고, 상기 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하는 학습 모듈;
   상기 카메라 장치를 통해 용접 영상이 수신되면, 상기 학습 데이터를 이용하여 상기 수신된 용접 영상에서 상기 대상 객체를 식별하는 객체 식별 모듈;
   기 설정된 시간 이내에 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 서로 다르게 설정하여 n 개의 노출 영상을 취득하고, 상기 n 개의 노출 영상 중 상기 대상 객체의 식별도가 최고치인 노출 영상을 기준 영상으로 설정한 후, 상기 기준 영상을 기준으로 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 설정하여 객체 기반 노출값 제어 기능을 수행하는 카메라 제어 모듈; 및
   상기 카메라 제어 모듈을 통해 상기 대상 객체를 실시간 추적하여 상기 대상 객체에 대한 객체 추적 영상을 제공하는 객체 추적 모듈을 포함하되,
   상기 대상 객체의 식별도가 최고치인 영상은 상기 노출 영상으로부터 상기 대상 객체 영역에 포함된 픽셀값만을 대상으로 산출된 히스토그램을 평활화하고, 상기 평활화된 히스토그램의 분산값을 사용하여 상기 분산값이 최대치를 갖는 영상인 것인, 용접 공정에서의 객체 트래킹 장치.
2. 제1항에 있어서,
   상기 제어 장치는,
   상기 대상 객체를 상기 피용접들 사이의 접합면인 용접선, 상기 용접 토치, 상기 용접 토치에 의해 용접된 용접부위, 식별 마커 중 적어도 어느 하나 이상을 지정하여 추적 가능한 범위를 설정하는 객체 설정 모듈을 더 포함하는 것인, 용접 공정에서의 객체 트래킹 장치.
3. 제1항에 있어서,
   상기 객체 추적 영상은 AR(Augmented reality) 영상인 것인, 용접 공정에서의 객체 트래킹 장치.
4. 삭제
5. 제1항에 있어서,
   상기 제어 장치에 제어에 의해 상기 객체 추적 영상을 화면에 표시하는 표시 장치를 더 포함하는 것인, 용접 공정에서의 객체 트래킹 장치.
6. 삭제
7. 제1항에 있어서,
   상기 대상 객체의 식별도가 최고치인 영상은, 상기 노출 영상으로부터 상기 대상 객체 영역에 포함된 픽셀값만을 계산하여 최고 밝기의 픽셀값의 개수와 최하 밝기의 픽셀 값의 개수의 차이가 최소값을 갖는 영상인 것인, 용접 공정에서의 객체 트래킹 장치.
8. 적어도 하나 이상의 카메라를 이용하여 용접 영상을 모니터링하기 위한 용접 공정에서의 객체 트래킹 장치에 있어서,
   용접 안경, 용접 보호구, 용접 토치 중 어느 하나에 장착되고, 상기 카메라를 이용하여 피용접물을 용접하는 용접 토치를 포함한 용접 영상을 촬영하는 카메라 장치; 및
   상기 카메라 장치와 통신하여 상기 용접 영상을 수신하고, 상기 용접 영상에 대한 영상 처리를 통해 전체 영상 또는 대상 객체에 대한 객체 추적 영상을 제공하는 제어 장치를 포함하되,
   상기 제어 장치는,
   상기 용접 영상에서 적어도 하나 이상의 대상 객체를 지정하고, 상기 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하는 학습 모듈;
   상기 카메라 장치를 통해 용접 영상이 수신되면, 상기 학습 데이터를 이용하여 상기 수신된 용접 영상에서 대상 객체를 식별하는 객체 식별 모듈;
   상기 용접 영상에 대한 다중 노출 영상을 합성하여 HDR(High Dynamic Range) 영상을 생성하고, 상기 다중 노출 영상 중 상기 대상 객체의 시인성이 최대값을 갖는 노출 영상에서 상기 대상 객체의 픽셀값을 기준으로 상기 HDR 영상에 대한 톤매핑을 수행하며, 상기 HDR 영상 전체의 평균 픽셀값이 기 설정된 임계값 이내인 경우에, 전체 영상에 대해 카메라 게인값 또는 노출값을 포함한 제어 파라미터에 대한 자동 설정 기능을 적용하고, 상기 HDR 영상 전체의 평균 픽셀값이 기 설정된 임계값을 벗어나는 경우에, 상기 대상 객체 영역만 카메라 게인값 또는 노출값을 포함한 제어 파라미터에 대한 자동 설정 기능을 적용하는 카메라 제어 모듈; 및
   상기 카메라 제어 모듈을 통해 상기 대상 객체를 실시간 추적하여 상기 대상 객체에 대한 객체 추적 영상을 제공하는 객체 추적 모듈을 포함하는 것인, 용접 공정에서의 객체 트래킹 장치.
9. 삭제
10. 제8항에 있어서,
    상기 카메라 제어 모듈은 조도 센서, 적외선 센서를 포함한 적어도 하나의 센서를 이용한 센서값을 이용하여 카메라 노출값을 계산하는 것인, 용접 공정에서의 객체 트래킹 장치.
11. 적어도 하나 이상의 카메라를 이용하여 용접 영상을 모니터링하기 위한 용접 공정에서의 객체 트래킹 방법에 있어서,
    a) 용접 안경, 용접 보호구, 용접 토치 중 어느 하나에 장착된 카메라 장치를 통해 획득된 피용접물을 용접하는 용접 토치를 포함한 용접 영상이 수신되면, 추적 대상이 되는 적어도 하나 이상의 대상 객체가 설정되고, 상기 용접 영상에서 상기 대상 객체를 식별하는 단계;
    b) 상기 용접 영상에서 대상 객체가 식별되지 않는 경우에, 기 설정 시간 이내에 게인값 또는 노출값을 포함한 제어 파라미터를 서로 다르게 설정하여 n 개의 노출 영상을 획득하는 단계;
    c) 상기 n 개의 노출 영상 중 상기 노출 영상으로부터 상기 대상 객체 영역에 포함된 픽셀값만을 대상으로 산출된 히스토그램을 평활화하고, 상기 평활화된 히스토그램의 분산값을 사용하여 상기 분산값이 최대치를 갖는 상기 대상 객체의 식별도가 최고치인 노출 영상을 기준 영상으로 설정한 후, 상기 기준 영상을 기준으로 카메라 게인값 또는 노출값을 포함한 제어 파라미터를 설정하는 단계; 및
    d) 상기 대상 객체를 실시간 추적하여 상기 대상 객체에 대한 객체 추적 영상을 제공하는 단계를 포함하되,
    상기 c) 단계는,
    용접 작업 이전에 전체 영상을 보기 위해 전체 영상의 평균 픽셀값이 기 설정된 임계값 이내인 경우에 객체 기반 노출값 제어 기능을 오프시키고, 전체 영상의 평균값을 기준으로 노출값을 제어하는 전체 영상 기반 노출 값 제어 기능을 수행하며, 용접 작업 중에 용접광이 켜지면 전체 영상의 픽셀값이 기설정된 수준 이상인 경우에 대상 객체를 중심으로 카메라의 제어 파라미터를 조절하는 객체 기반 노출값 제어 기능을 수행하는 것인, 용접 공정에서의 객체 트래킹 방법.
12. 제11항에 있어서,
    상기 a) 단계는,
    상기 대상 객체에 대한 특징 정보를 기반으로 학습 데이터를 생성하고, 상기 학습 데이터를 이용하여 상기 용접 영상에서 대상 객체를 식별하는 단계를 더 포함하는 것인, 용접 공정에서의 객체 트래킹 방법.
    
    

Images