KR100382266B1 - 로봇 자세 보정 알고리즘을 이용한 크기 가변작업대상물의 자동 상표 부착방법 - Google Patents

Abstract

본 발명은 로봇 자세 보정 알고리즘을 이용한 크기 가변 작업대상물의 자동 상표 부착방법에 관한 것으로, 그 목적은 주변 휘도 변화에 충분히 대응할 수 있고 크기가 가변하는 작업대상물의 윤곽선을 정확히 검출하여 작업대상물에 상표를 부착하는 작업을 완전히 자동화하고 생산성 향상에 크게 기여 할 수 있는 로봇 자세 보정 알고리즘을 이용한 크기 가변 작업대상물의 자동 상표 부착방법을 제공함에 있다.

본 발명은 촬상 카메라로 검출된 작업대상물의 데이터와 로봇 기저 좌표계를 중심으로 카메라 좌표계의 변환 행렬을 구하여 카메라의 위치 변환 벡터와 회전 변환 행렬로 작업대상물의 변환관계를 해석하는 단계와, 상기의 작업대상물의 해석된 변환관계로 로봇의 자세를 보정하는 단계를 갖는 것을 특징으로 한다.

Description

로봇 자세 보정 알고리즘을 이용한 크기 가변 작업대상물의 자동 상표 부착방법{Auto Brand Attachment Method of Magnitude Changing Objects Using Robot Pose Adjustment Algorithm}

본 발명은 로봇 자세 보정 알고리즘을 이용한 크기 가변 작업대상물의 자동 상표 부착방법에 관한 것으로 더 상세하게는 주변 휘도 변화에 충분히 대응할 수 있고 크기가 가변하는 작업대상물의 윤곽선을 정확히 검출하여 작업대상물에 상표를 부착하는 작업을 완전히 자동화하고 생산성 향상에 크게 기여 할 수 있는 로봇 자세 보정 알고리즘을 이용한 크기 가변 작업대상물의 자동 상표 부착방법에 관한 것이다.

통상 국내 제철소의 냉 열간 코일과 제지공장의 대형 두루말이(이하 작업대상물) 생산라인은 대부분 자동화된 일관 공정으로 구성되어 있으나 마지막 부분인 상표 부착 공정은 기술적으로 자동화가 어려운 공정으로 남아 있어, 생산이 완성 된 작업대상물은 국내외의 주문자에 따른 제품 사양, 주문자 명, 행선지 등이 명기된 상표를 주 야로 교대하여 작업자가 부착하는 문제점이 있었다. 이러한 수작업으로 인하여 상표의 부착 위치가 부정확하므로 인하여 주문자는 상표가 부착된 부분을 절단하고 사용하여야 하는데 부착 위치에 따라서는 상당한 양이 소비되어 클레임을 받을 수 있다.

또한, 종래의 생산라인이 수동 상표 부착 방식으로 설립되었기 때문에 작업대상물에 대한 정량적 데이터를 사전 공정에서 받을 수 없을 뿐만 아니라 크기와 중량 등이 매번 다르므로 학습된 위치로만 반복 작업하는 범용이나 간이 로봇을 적용하는 것은 어렵다.

본 발명에서는 이처럼 작업대상물의 가변적 상황을 수용하고 공정의 안정성과 유연성을 확보하기 위하여 수직 다관절 로봇과 시각 장치를 접속한 자동 상표 부착 장치를 적용하는데, 이런 종류의 자동 상표 부착 시스템의 유사한 사례는 국내에는 전무한 상태이다. 국외에서는 일본 新日本製鐵(株)의 大分 製鐵所에서 로봇과 레이져 센서와 주변 장치류로 구성된 자동 상표 부착 시스템이 있다(이하 Daihen시스템).

작업대상물은 주문 생산품이므로 그 종류가 다양하고, 재질에 따라 작업대상물을 감는 시작 면과 끝단 면의 위치와 벌어지는 정도가 불규칙하다. 과거의 수동 상표 부착 작업을 자동화 시스템으로 전환시키는 과정에서 도출된 주요 문제점들은 다음과 같다.

첫째로 주문 사양에 따라 크기, 중량 두께가 전부 다르고 정량적인 데이터가 없어서 대량생산에 적용하는 자동화 개념으로는 접근이 어렵고, 둘째로 작업대상물을 운반하는 장치의 반복 위치 오차가 크고 감기는 시작 면과 끝단 면의 위치와 벌어짐이 불규칙하므로 일정 위치로만 반복 작업이 가능한 범용이나 간이 로봇을 적용하면 작업대상물과 충돌할 수 있는 문제점이 있다.

본 발명은 상기와 같은 결점을 해결하기 위해 안출된 것으로 주변 휘도 변화에 충분히 대응할 수 있고 크기가 가변하는 작업대상물의 윤곽선을 정확히 검출하여 작업대상물에 상표를 부착하는 작업을 완전히 자동화하고 생산성 향상에 크게 기여 할 수 있는 로봇 자세 보정 알고리즘을 이용한 크기 가변 작업대상물의 자동 상표 부착방법을 제공함을 목적으로 한다.

본 발명은 촬상카메라를 이용하여 위치와 방향이 가변하는 작업 대상물의 전체영역과 윤곽선 및 중심위치를 검출하는 단계와, 상기의 작업대상물에 대한 정보를 검출하는 조건을 만족하기 위해 촬상카메라를 켈리브레이션 하는 단계와, 상기의 작업대상물에 대한 위치와 방향 데이터를 기준으로 로봇의 자세를 보정하는 단계를 갖으므로써 달성된다.

도 1 은 본 발명의 로봇 자세 보정을 위한 흐름도

도 2 는 위치와 방향이 가변하는 작업대상물 검출하기 위한 투사 변환 모델 개념도

도 3 은 로봇의 자세를 보정하기 위한 로봇 시각 장치 시스템 좌표계

도 4 는 Daihen시스템이 레이져 센서를 이용하여 작업대상물의 감기는 시작 면을 검출하는 개념도

< 도면의 주요부분에 대한 부호의 설명 >

1 : 작업대상물 2 : 시작 면

3 : 레이져 센서

10 : 촬상카메라로 화상도를 얻는 단계

20 : 가변된 작업대상물의 변경된 중심 위치에 대한 데이터를 연산하는 단계

30 : 작업대상물의 전체영역과 윤곽선 및 중심위치를 검출하는 단계

40 : 촬상카메라를 켈리브레이션 하는 단계

50 : 작업대상물의 변환관계를 해석하는 단계

60 : 로봇의 자세를 보정하는 단계

상기한 바와 같은 목적을 달성하고 종래의 결점을 제거하기 위한 과제를 수행하는 본 발명은 촬상 카메라를 이용하여 위치와 방향이 가변하는 작업 대상물의 전체영역과 윤곽선 및 중심위치를 검출하는 단계와, 상기의 작업대상물에 대한 정보를 검출하는 조건을 만족하기 위해 촬상카메라를 켈리브레이션 하는 단계와, 상기의 작업대상물에 대한 위치와 방향 데이터를 기준으로 로봇의 자세를 보정하는단계를 갖는 것을 특징으로 한다.

이하 본 발명에 대해 구성과 작용을 도면에 연계시켜 상세히 설명하면 다음과 같다.도 1 은 본 발명의 로봇 자세 보정을 위한 흐름도이고, 도 2 는 위치와 방향이 가변하는 작업대상물을 검출하기 위한 투사 변환 모델 개념도로서, 고정형 카메라는 작업대상물의 크기 가변에 따라 변하는 중심 위치를 검출하여 로봇이 작업대상물에 접근하는 자세를 유도하기 위하여 다음과 같은 알고리즘을 적용한다.촬상카메라로 획득한 작업대상물의 화상도를 이미지 플레인 해석법을 이용하여 작업대상물에 대한 위치와 방향 검출을 위한 초기조건을 다음과 같이 설정한다.도 2 에서 C_s는 고정형 카메라 좌표계이고, C_i는 이미지 플레인 좌표계이며, C_a=(C_axw, C_ayw, C_azw)는 학습된 압연코일의 중심 위치이고, C_b=(C_bxw, C_byw, C_bzw)는 다른 크기인 압연코일의 중심 위치이며, p_ia= (x_c, y_c) 는 C_a에 대한 이미지 플레인 상의 점이고, p_ib= (x_c, y_c) 는 C_b에 대한 이미지 플레인 상의 점이며, f는 카메라의 유효 초점 거리를 나타낸다.기존의 방법처럼 화소위치 데이터만 적산한 다음 그 적산수량을 나누는 단순한 방법으로 중심화소를 구하면 조명조건에 따라 타원형 윤곽선 오차가 발생하므로 다음과 같이 불변 모멘트 알고리즘을 이용하여 중심 좌표 위치를 구한다.2차원 직교 좌표계의 (p + q)차 관성 모멘트 m_pq는 p,q = 0, 1, 2...이며, f(x,y)는 한 개의 화소 (x,y)에 대한 명암도 함수 관계를 이용하여 식(1)과 같은 리이만(Riemann) 적분식으로 표현할 수 있다.

---------------------------- (1)

작업대상물에 대한 윤곽선의 면적 A, 원주 ℓ일 때, 식(1)을 이용하여 작업대상물의 윤곽선에 대한 전체 영역을 의미하는 영차 모멘트는 식(2)와 같고, 윤곽선에 대한 중심 위치 정보를 가지고 있는 일차 모멘트는 식(3),(4)과 같이 구한다.

-------------------------- (2)

------------------------- (3)

------------------------ (4)

또한 관성 모멘트로 작업대상물의 윤곽선에 대한 주축(principal axis)정보를 가지고 있는 이차 모멘트를 식(5),(6),(7)과 같이 구할 수 있다.

------------------------- (5)

------------------------- (6)

------------------------ (7)

따라서 이러한 관계를 이용하여 작업대상물의 중심 위치는 식(8)과 같이 구하고, x축 방향 기울기 _s는 이차 모멘트를 이용하여 식(9)과 같이 구한다.

,----------------------------- (8)

------------ (9)

도 3 은 로봇의 자세를 보정하기 위한 로봇 시각 장치 시스템 좌표계로서, 카메라 캘리브레이션은 렌즈의 광학적인 특성과 카메라 시스템 자체의 물리적인 데이터를 나타내는 고유 파라메타와 3차원 공간 좌표계에 대한 카메라 좌표계의 위치와 회전을 자세 변수로 나타낸다.

도 3 에서 C₁는 로봇 기저 좌표계이고, C₆은 로봇 6축 좌표계이며, C_t는 로봇 엔드 이펙터 좌표계이고, C_w는 실제 압연코일을 놓는 공간 좌표계이며,는 로봇 기저와 고정형 카메라간의 변환 행렬이고,는 로봇 기저와 6축간의 변환 행렬이며,는 로봇 6축과 엔드 이펙터간의 변환 행렬이고,는 엔드 이펙터가 C_a위치까지 접근해야 하는 상대 위치이며,는 엔드 이펙터가 C_b위치까지 접근해야 하는 상대 위치이고,는 C₁을 기준으로 하는 카메라의 위치 변환 벡터이며, R은 C₁을 기준으로 하는 카메라의 회전 변환 행렬이고,는 로봇 기저와 C_a위치간의 변환 행렬이며,는 로봇 기저와 C_b위치간의 변환 행렬을 나타낸다.

식(8)에서 구한(x_c, y_c) 는 고정형 카메라가 검출한 화상 좌표계 상의 작업대상물에 대한 중심 위치이므로 고정형 카메라와 실제 공간 좌표계 상에 있는 과의 대응 관계를 구해야만 로봇의 자세 보정 데이터로 적용할 수 있다. 도 2 와 같이 공간 좌표계에서 학습된 작업대상물의 중심 위치 C_a에 대한 화상 좌표계 상의 이미지 플레인 점 p_ia의 관계는 카메라 시스템의 내부 파라메타를 이용하여 다음과 같이 구한다. 즉, 학습된 작업대상물의 중심 위치C_axw, C_ayw, C_azw, 카메라의 유효 초점 거리가 f일 때 중심 위치는 식(10)과 같다.

------------------------------- (10)

따라서 중심 위치가 C_b또는 다른 위치인 작업대상물이 반입되어도 식 (10)을 이용하여 화상 좌표계 상에서 변경된 중심 위치에 대한 데이터를 연산하면, 공간 좌표계에서 실제 작업대상물의 크기 변화를 측정할 수 있다. 그러므로,는 다른 크기인 작업대상물의 반입으로 인한 (x_c,y_c)의 가변 데이터일 때, 도 2 의 이미지 플레인상의 점 p_ia와 p_ib에 대한 관계는 식(11)과 같다.

-------------------------------------- (11)

여기서 이러한 관계와 도 2 를 이용하면 로봇 시각 장치 시스템의 자세보정 알고리즘은 도 3 과 같이 구성할 수 있다. 도 2 에서 작업대상물의 중심 위치가 학습된 위치 C_a에 있을 때 변환 관계는 식(12)과 같다.

------------------------------- (12)

상표를 작업대상물에 부착하는 그립퍼는 로봇 6축에 부착되어 있을 때 그립퍼 좌표계C_t는 로봇 6축 좌표계C₆과 같은 방향이면서 위치만 다르고 p_xt,p_yt, p_zt는 엔드 이펙터 좌표계 C_t의 중심점을 로봇 6축 좌표계 C₆에서 측정한 값일 때 식(13)과 같다.

------------------------------- (13)

로봇 기저와 C_a위치의 변환 행렬는 도 2 와 같이 로봇 기저 좌표계 C₁에서 주시한 C_a의 변환으로 C_a와 C_b는 좌표축이 평행하게 설정되어 있고, p_xa,p_ya, p_za는 C₁을 기준으로 하는 C_a의 원점 좌표이므로 식(14)와 같다.

------------------------------- (14)

카메라 자세 변수를 구하기 위하여 로봇 기저를 기준으로 카메라 좌표계의 변환 행렬를 식(15)과 같이 구성하여 C₁을 기준으로 하는 카메라의 위치 변환 벡터과 회전 변환 행렬R을 구한다.

-------------------------------- (15)

따라서 새로 반입된 작업대상물의 중심 위치가 C_b가 되면, 그립퍼가 C_b위치까지 접근해야 하는 상대 위치에 대한 관계식은 p_xb, p_yb, p_zb는 C₁을 기준으로 하는 C_b의 원점 좌표계인 점을 이용하여 식(16), (17)과 같이 된다

------------------------------ (16)

------------------------------ (17)

따라서 실제 자세 보정을 하는 로봇의 변환 관계는 식(18)과 같이 구할 수 있다.

------------------------------- (18)

식(18)에와을 대입한 다음, 적용하는 로봇에 대한 기구학 해석을 이용하면 자세가 보정된 각 관절의 값을 구할 수 있다.

따라서, 본 발명은 촬상카메라로 작업대상물의 화상도를 얻는 단계와, 상기 작업대상물 화상도의 위치와 방향이 가변하면 화상 좌표계 상의 이미지 플레인 함수 관계를 이용하여 화상 좌표계상에서 변경된 중심 위치에 대한 데이터를 연산하는 단계와, 상기 연산된 데이터로 공간 좌표계에서 실제 작업대상물의 크기 변화를 측정하여 작업 대상물의 전체영역과 윤곽선 및 중심위치를 검출하는 단계와, 상기의 작업대상물의 중심위치를 검출하는 조건을 만족하기 위해 렌즈의 광학적인 특성과 카메라 시스템 자체의 물리적인 데이터를 나타내는 고유 파라메타를 이용하여 3차원 공간 좌표계에 대한 고정형 카메라의 위치와 회전을 자세 변수로 나타내어 촬상카메라를 켈리브레이션 하는 단계와, 상기 검출된 작업대상물의 데이터와 로봇 기저 좌표계를 중심으로 카메라 좌표계의 변환 행렬을 구하여 카메라의 위치 변환 벡터와 회전 변환 행렬로 작업대상물의 변환관계를 해석하는 단계와, 상기의 작업대상물의 해석된 변환관계로 로봇의 자세를 보정하므로써 주변 휘도 변화에 충분히 대응할 수 있고 크기가 가변하는 작업대상물의 윤곽선을 정확히 검출하여 작업대상물에 상표를 부착하는 작업을 완전히 자동화 할 수 있다.

도 4 는 Daihen시스템이 레이져 센서를 이용하여 작업대상물의 감기는 시작면을 검출하는 개념도이고, [표1]은 본 발명과 Daihen 시스템의 운용 방법 및 메커니즘을 비교한 것으로서,

[표1]

항 목	발명 시스템	Daihen 시스템
상표 부착	그립퍼의 공압과 롤러를 이용	그립퍼의 스프링과 롤러를 이용
부착 매수	최대 3매	최대 2매
싸이클 타임	215초 이내(3매 부착)	180 초 이내(2매 부착)
로봇 운용	고정형으로 운용	로봇 이동은 트랙모션을 이용

본 발명인 자동 상표 부착 시스템은 작업대상 내부에 로봇이 진입할 때 시작 면과 끝단면을 검출하기 위하여 고정형 카메라를 이용하지만, Daihen 시스템은 상위 컴퓨터로부터 사전에 정보를 받아야만 진입할 수 있으므로 종속적이고, 도 3 과 같이 2개의 레이져 센서(X, Y)로 거리 차이를 검출하기에 울퉁불퉁한 굴곡이 여러 개 있을 때 엉뚱한 장소를 찾을 수 있으며, 1.2 mm 이하의 얇은 강판으로 감겨 있을 때는 검출 자체가 안될 수 있다.

또한, 본 발명 상품 자동 부착 시스템은 모두 작업이 독립적으로 수행되어 그 결과만 서로 연계되지만, Daihen 시스템은 상위 컴퓨터로부터 상표 부착을 위한 로봇 자세보정에 대한 데이터를 받아야만 작업을 할 수 있어서, 매번 새로운 작업대상물의 등장에 따라 시스템 운용이 복잡하고 불필요한 동작이 많음을 보여준다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 고안이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

상기와 같은 알고리즘을 구현하는 본 발명은 주변 휘도 변화에 충분히 대응할 수 있고 크기가 가변하는 작업대상물의 윤곽선을 정확히 검출하여 작업대상물에 상표를 부착하는 작업을 완전히 자동화하고 Daihen시스템에 비하여 구성이 더욱 지능화 되었으며 독립적이고 간단히 운용될 수 있어서 기존의 상표 부착 작업을 전담하던 작업자를 효용성이 높은 다른 작업장으로 배치하므로써 생산성 향상에 크게 기여 할 수 있는 유용한 발명이다.

Claims (1)

1. 촬상카메라로 획득한 작업대상물의 화상도를 화상 좌표계 상의 이미지 플레인 함수 관계를 이용하여 화상 좌표계상에서 변경된 중심 위치에 대한 데이터를 연산하는 단계와,

   상기 연산된 데이터로 공간 좌표계에서 실제 작업대상물의 크기 변화를 측정하여 작업 대상물의 전체영역과 윤곽선 및 중심위치를 검출하는 단계와,

   상기의 작업대상물의 중심위치를 검출하는 조건을 만족하기 위해 렌즈의 광학적인 특성과 카메라 시스템 자체의 물리적인 데이터를 나타내는 고유 파라메타를 이용하여 3차원 공간 좌표계에 대한 고정형 카메라의 위치와 회전을 자세 변수로 나타내어 촬상카메라를 켈리브레이션 하는 단계와,

   상기 검출된 작업대상물의 데이터와 로봇 기저 좌표계를 중심으로 카메라 좌표계의 변환 행렬을 구하여 카메라의 위치 변환 벡터와 회전 변환 행렬로 작업대상물의 변환관계를 해석하는 단계와,

   상기의 작업대상물의 해석된 변환관계로 로봇의 자세를 보정하는 단계를 포함하는 것을 특징으로 하는 로봇 자세 보정 알고리즘을 이용한 크기 가변 작업대상물의 자동 상표 부착방법