KR102267514B1 - 작업대상물의 피킹 및 플레이스 방법 - Google Patents

Abstract

작업대상물의 피킹 및 플레이스 방법이 개시되며, 본 발명의 일 실시예에 따른 작업대상물의 피킹 및 플레이스 방법은 작업대상물의 위치를 포함하는 작업영역을 설정하는 작업영역 설정단계, 촬영부에서 상기 작업영역의 이미지를 촬영하고, 제어부가 상기 이미지를 분석하여 작업대상물을 선정하는 작업대상물 선정단계 및 상기 제어부가 피킹유닛을 작동시켜 선정된 상기 작업대상물을 피킹하는 피킹단계를 포함한다.

Description

작업대상물의 피킹 및 플레이스 방법 {METHOD FOR PICKING AND PLACE OBJECT}

본 발명은 작업대상물의 피킹 및 플레이스 방법에 관한 것으로서, 작업공간에서 매니퓰레이터 등을 이용하여 작업대상물을 피킹하기 위한 방법에 관한 것이다.

산업현장 등에서는 물체의 이동이나 보수, 확인 등 다양한 이유로 물체의 피킹(PICKING) 및 플레이스(PLACE) 작업이 이루어지며, 피킹 작업은 물체를 해당 위치로부터 집어 올리는 것을 의미하고, 플레이스 작업은 집어올린 물체를 원하는 위치에 내려 놓는 것을 의미한다.

피킹 및 플레이스 작업은 작업자에 의해 직접 이루어질 수 있지만, 작업의 효율성이나 반복성을 고려하여 매니퓰레이터에 피킹유닛을 탑재한 로봇 시스템을 이용할 수 있다.

피킹유닛을 이용하는 경우, 로봇에게 작업대상물을 인식시키기 위해 작업대상물을 미리 정해진 위치에 두고, 로봇은 정해진 자세와 방식으로 작업대상물을 피킹한 뒤 지정된 위치에 플레이스(PLACE)시킬 수 있다.

다만, 작업대상물은 다양한 위치에 존재할 수 있으며, 편리하고 효율적인 피킹작업을 위해서는 작업영역이 유동적이고 로봇이 능동적으로 작업대상물을 선정하여 작업을 수행하는 것이 중요한 과제가 된다.

본 발명의 실시예들은 작업영역을 효율적으로 설정하고 작업대상물을 효과적으로 선정하며 효율적으로 피킹작업을 수행할 수 있는 작업대상물의 피킹 및 플레이스 방법을 제공하고자 한다.

본 발명의 일 실시예에 따른 작업대상물의 피킹 및 플레이스 방법은 작업대상물의 위치를 포함하는 작업영역을 설정하는 작업영역 설정단계, 촬영부에서 상기 작업영역의 이미지를 촬영하고, 제어부가 상기 이미지를 분석하여 작업대상물을 선정하는 작업대상물 선정단계 및 상기 제어부가 피킹유닛을 작동시켜 선정된 상기 작업대상물을 피킹하는 피킹단계를 포함한다.

상기 작업영역 설정단계에서는, 상기 작업대상물의 위치를 포함하는 영역에 제1마커를 배치하고, 상기 제어부가 상기 작업영역의 경계상에 상기 마커가 위치되도록 상기 작업영역을 설정할 수 있다.

상기 제1마커는 복수개로 배치되고, 상기 제어부는 상기 작업영역이 사각 형태의 경계를 가지도록 설정하며, 상기 작업영역의 경계는 상기 제1마커 중 어느 하나와 다른 하나가 각각 대각선상의 양측 꼭지점에 해당하도록 설정될 수 있다.

상기 피킹단계 이후, 상기 제어부가 제2마커를 인식하여 플레이스영역을 설정하고, 상기 피킹유닛을 작동시켜 상기 플레이스영역에 상기 작업대상물을 위치시키는 플레이스단계를 더 포함할 수 있다.

상기 작업대상물 선정단계에서, 상기 촬영부는 상기 작업영역의 뎁스이미지를 촬영하고, 상기 제어부는 상기 뎁스이미지로부터 미리 설정된 좌표계상의 포인트 클라우드를 생성하며, 상기 포인트 클라우드를 분석하여 상기 작업대상물을 선정할 수 있다.

상기 작업대상물 선정단계에서,상기 제어부는 상기 포인트 클라우드에서 단위공간별로 존재하는 포인트 개수를 소정의 개수로 축소하여 복셀화를 수행할 수 있다.

상기 작업대상물 선정단계 이전에, 상기 촬영부가 상기 작업대상물을 촬영하고 상기 제어부가 상기 작업대상물의 데이터를 학습하는 작업대상물 학습단계를 더 포함할 수 있다.

상기 작업대상물 선정단계 이후, 상기 제어부가 상기 작업대상물에서 피킹유닛과 접촉되는 피킹부위를 선정하는 피킹부위 선정단계를 더 포함하고, 상기 피킹단계에서는, 상기 피킹유닛이 상기 피킹부위에 접촉하여 상기 작업대상물을 피킹할 수 있다.

상기 피킹부위 선정단계에서는, 상기 제어부가 상기 포인트 클라우드에 대해 미리 설정된 기준으로 클러스터링을 수행하고, 각 클러스터의 중심점 및 회전각을 추정하여 상기 피킹부위를 선정할 수 있다.

상기 피킹부위 선정단계에서는, 상기 제어부가 상기 포인트 클라우드로부터 방해물을 확인하고, 상기 방해물과의 충돌이 회피되는 상기 피킹유닛의 이동궤적 및 상기 피킹부위를 선정할 수 있다.

상기 피킹부위 선정단계에서, 상기 피킹유닛이 그리퍼인 경우, 상기 제어부는 상기 피킹부위를 복수개 선정하고, 상기 피킹유닛이 석션유닛인 경우, 상기 제어부는 상기 피킹부위를 단일개로 선정할 수 있다.

상기 피킹부위 선정단계에서, 상기 방해물과의 충돌이 회피되는 상기 이동궤적 및 상기 피킹부위가 선정되지 않는 경우, 상기 제어부는 사용자의 수동제어를 요구하는 알림신호를 송신하며, 상기 수동제어 내용을 학습할 수 있다.

상기 작업대상물 선정단계에서는, 상기 촬영부가 상기 뎁스이미지와 함께 컬러이미지를 촬영하고, 상기 제어부는 상기 컬러이미지를 분석하여 2차원상에서 각 물체가 존재하는 물체영역과 비물체영역을 구분하며, 3차원상에서 상기 비물체영역은 제외하고 상기 포인트 클라우드를 생성할 수 있다.

상기 제어부는 상기 작업대상물이 존재하는 영역을 상기 물체영역으로 구분하고, 상기 작업대상물 외의 방해물은 비물체영역으로 구분할 수 있다.

본 발명의 실시예들은 작업영역을 효율적으로 설정하고 작업대상물을 효과적으로 선정하며 효율적으로 피킹작업을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 작업대상물의 피킹 및 플레이스 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시예에 따른 작업대상물의 피킹시스템을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 작업영역과 플레이스영역을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에서 촬영되는 뎁스이미지를 예시적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 복셀화 방식을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 작업대상물에 선정된 피킹부위를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 클러스터링 방식을 개략적으로 나타낸 도면이다.
도 8은 본 발명의 일 실시예에서 매니퓰레이터에 장착되는 피킹유닛을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 컬러이미지의 물체영역 및 비물체영역을 예시적으로 나타낸 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 작업대상물의 피킹 및 플레이스 방법에 대한 순서도이며, 도 2는 본 발명의 일 실시예에 다른 작업대상물의 피킹시스템이다. 다만, 도 1 및 2는 본 발명의 일 실시예일 뿐 이에 한정되는 것은 아니다.

예컨대, 본 발명의 일 실시예는 각 단계가 도 1의 순서도에 도시된 순서와 다르게 진행될 수 있고, 피킹시스템의 각 구성은 도 2에 도시된 구성과 일부 상이할 수 있다.

도 1 및 2를 참고할 때, 본 발명의 일 실시예에 따른 작업대상물의 피킹 및 플레이스 방법은 작업대상물(50)의 위치를 포함하는 작업영역(120)을 설정하는 작업영역(120) 설정단계(S20), 촬영부(200)에서 상기 작업영역(120)의 이미지를 촬영하고, 제어부(100)가 상기 이미지를 분석하여 작업대상물(50)을 선정하는 작업대상물 선정단계(S30) 및 상기 제어부(100)가 피킹유닛(300)을 작동시켜 선정된 상기 작업대상물(50)을 피킹하는 피킹단계(S50)를 포함한다.

구체적으로, 작업영역 설정단계(S20)에서는 작업대상물(50)이 포함되도록 작업영역(120)을 설정한다. 작업영역(120)의 설정은 사용자에 의해 이루어거나, 미리 설정된 기준에 따라서 제어부(100)에 의해 설정될 수도 있다.

작업영역(120)은 작업대상물(50)의 위치, 지형이나 건물 구조 등을 고려하여 다양한 위치에 설정될 수 있다. 피킹유닛(300)은 사용자가 직접 이동시키거나 자동형 또는 수동형 이동시스템을 이용하여 작업영역(120)에 배치될 수 있다.

산업현장 등에서는 피킹작업이 요구되는 작업대상물(50)이 반드시 일정한 장소에 위치하지 않을 수 있고, 이에 따라 피킹유닛(300)을 이용한 피킹작업은 작업대상물(50)의 위치에 따라 적절하게 수행되는 것이 유리하다.

본 발명의 일 실시예는 미리 설정되어 고정되는 영역이 아니라, 작업대상물(50)의 위치를 고려하여 해당 작업대상물(50)의 위치를 포함하는 영역을 상기 작업영역(120)으로 유연하게 설정함으로써, 효과적인 피킹작업을 가능하게 한다.

작업대상물(50)은 피킹작업이 수행되는 대상을 의미하고, 복수개로 존재할 수도 있으며, 작업영역(120) 내에 방해물로 인식되는 다양한 물체와 함께 존재할 수 있다.

도 2에는 작업대상물(50)을 포함하도록 설정된 작업영역(120)이 개략적으로 도시되어 있다. 도 2는 작업대상물(50)이 포함되도록 작업영역(120)이 설정되고, 작업대상물(50)을 제외한 기타 물체가 작업영역(120)에 함께 배치된 모습을 나타내고 있다.

한편, 작업대상물 선정단계(S30)에서는 촬영부(200)에서 상기 작업영역(120)의 이미지를 촬영하고, 제어부(100)가 상기 이미지를 분석하여 작업대상물(50)을 선정한다.

촬영부(200)는 작업영역(120)의 공간적 정보를 파악할 수 있는 수단이며, RGBD카메라, 스테레오 카메라 또는 Lidar센서 등일 수 있다.

도 2에는 본 발명의 일 실시예에 따라 피킹유닛(300)과 함께 촬영부(200)가 매니퓰레이터에 설치된 모습이 개략적으로 표현되어 있다. 다만, 촬영부(200)는 작업영역(120) 주변에 별도로 배치될 수도 있으며, 필요에 따라 복수개로 구비될 수도 있다.

촬영부(200)는 피킹작업의 대상이 되는 작업대상물(50)을 선정하기 위해 작업영역(120)의 이미지를 촬영한다. 해당 이미지는 컬러이미지나 깊이정보를 포함하는 뎁스이미지일 수 있으며, 기타 다양한 종류의 정보를 가지는 이미지일 수 있다.

제어부(100)는 촬영부(200)에 의해 촬영된 이미지를 분석하여 작업대상물(50)을 선정할 수 있다. 이미지의 분석은 다양한 방식으로 이루어질 수 있다.

예컨대, 미리 저장된 작업대상물(50) 이미지 정보를 컬러이미지와 단순 대조할 수 있고, 미리 저장된 3차원적 형상 정보를 뎁스이미지와 대조하여 작업대상물(50)을 선정할 수 있다.

또한, 작업대상물(50) 정보는 별도로 생성한 정보를 제어부(100)에 미리 저장시킬 수도 있고, 제어부(100)가 작업대상물(50)의 촬영정보를 신경망, 인공회로망 등의 딥러닝 방식을 통해 직접 학습할 수도 있다.

본 발명은 미리 정해진 위치에 작업대상물(50)이 배치되는 것이 아니며, 제어부(100)가 직접 작업대상물(50)을 선정하므로 작업 상황에 따라 유연하게 대응할 수 있으며, 다양한 종류의 작업대상물(50)을 작업할 수 있어 효과적이다.

한편, 피킹단계(S50)에서는 제어부(100)가 피킹유닛(300)을 작동시켜 선정된 상기 작업대상물(50)을 피킹한다. 피킹유닛(300)은 다양한 종류로 구비될 수 있으며, 도 2에는 본 발명의 일 실시예에 따라 매니퓰레이터에 설치된 피킹유닛(300)이 도시되어 있으며, 도 8에는 다양한 종류의 피킹유닛(300)이 예시적으로 도시되어 있다.

본 발명에서 피킹작업은 작업대상물(50)을 집어올리는 작업을 의미하고, 플레이스작업은 피킹된 작업대상물(50)을 원하는 위치에 배치하는 것을 의미한다.

피킹유닛(300)은 작업대상물(50)을 집어올리는 피킹작업을 수행하게 되며, 이에 따라 작업영역(120) 내에 타 물체와 함께 존재할 수 있는 작업대상물(50)은 효과적으로 피킹되어 다른 위치에 플레이스될 수 있다.

결국, 본 발명은 작업대상물(50)의 위치 등에 따라 작업영역(120)을 유동적으로 설정할 수 있고, 나아가 타 물체와 함께 존재하는 작업대상물(50)을 효과적으로 구분하여 피킹작업을 수행할 수 있어 유리하다.

한편, 본 발명의 일 실시예에 따른 작업대상물의 피킹 및 플레이스 방법은, 상기 작업영역 설정단계(S20)에서 상기 작업대상물(50)의 위치를 포함하는 영역에 제1마커(122)를 배치하고, 상기 제어부(100)가 상기 작업영역(120)의 경계상에 상기 마커가 위치되도록 상기 작업영역(120)을 설정할 수 있다.

본 발명의 일 실시예는 작업영역(120)의 설정을 위해 제1마커(122)를 이용할 수 있다. 제1마커(122)는 다양한 종류 및 형상으로 마련될 수 있으며, 작업자에 의해 배치될 수 있다.

제1마커(122)는 그 형상, 색상 또는 깊이 정보가 제어부(100)가 미리 저장될 수 있고, 제어부(100)는 촬영부(200)에 의해 촬영된 이미지를 통해 제1마커(122)를 인식하고, 작업영역(120)을 설정할 수 있다.

본 발명의 일 실시예에서 제1마커(122)는 작업영역(120)의 경계를 설정하는 데에 이용될 수 있다. 구체적으로, 작업자 등에 의해 제1마커(122)는 작업대상물(50)의 위치를 포함하도록 배치될 수 있고, 제어부(100)는 제1마커(122)의 위치를 경계로 하는 작업영역(120)을 설정함으로써, 작업대상물(50)을 포함하는 작업영역(120)을 효과적으로 설정할 수 있다.

한편, 도 3에는 본 발명의 일 실시예에 따라 제1마커(122)를 활용하여 설정된 작업영역(120)이 도시되어 있다. 본 발명의 일 실시예에서, 상기 제1마커(122)는 복수개로 배치되고, 상기 제어부(100)는 상기 작업영역(120)이 사각 형태의 경계를 가지도록 설정하며, 상기 작업영역(120)의 경계는 상기 제1마커(122) 중 어느 하나와 다른 하나가 각각 대각선상의 양측 꼭지점에 해당하도록 설정될 수 있다.

제1마커(122)는 복수개가 이용될 수 있으며, 도 3에는 본 발명의 일 실시예로서 2개의 제1마커(122)가 이용된 모습이 도시되어 있다. 제어부(100)는 제1마커(122)가 경계에 위치되는 작업영역(120)을 설정하며, 복수의 제1마커(122)를 이용함으로써 작업영역(120)의 구체적인 설정이 가능해진다.

한편, 본 발명의 일 실시예에서 제어부(100)는 작업영역(120)을 사각 형태의 단면을 가지도록 설정할 수 있다. 나아가, 제어부(100)는 도 3에 도시된 바와 같이 2개의 제1마커(122)가 각각 사각 형상의 대각선상 양측 꼭지점, 즉 서로 이웃하지 않는 꼭지점에 해당하도록 작업영역(120)을 설정할 수 있다.

즉, 본 발명은 복수의 제1마커(122)를 이용하여 보다 구체적이고 효율적인 작업영역(120) 설정이 가능하며, 나아가 2개의 제1마커(122)만으로 원하는 작업영역(120)을 효율적으로 설정하는 것이 가능하다.

한편, 본 발명의 일 실시예는 상기 피킹단계(S50) 이후, 상기 제어부(100)가 제2마커(144)를 인식하여 플레이스영역(140)을 설정하고, 상기 피킹유닛(300)을 작동시켜 상기 플레이스영역(140)에 상기 작업대상물(50)을 위치시키는 플레이스단계(S60)를 더 포함할 수 있다.

피킹단계(S50)를 통해 작업대상물(50)을 피킹한 이후, 원하는 위치에 작업대상물(50)을 다시 배치할 수 있으며, 작업대상물(50)이 배치될 플레이스영역(140) 또한 다양한 위치로 설정할 수 있다.

도 3에는 본 발명의 일 실시예에 따른 플레이스영역(140)이 개략적으로 도시되어 있다. 본 발명의 일 실시예는 플레이스영역(140) 설정을 위해 제2마커(144)를 이용할 수 있다. 제2마커(144)는 제1마커(122)와 동일하게 미리 그 형상이나 색채, 3차원적 정보가 제어부(100)에 미리 저장될 수 있고, 제어부(100)는 제2마커(144)의 인식을 통해 플레이스영역(140)을 설정할 수 있다.

본 발명의 일 실시예에서 플레이스영역(140)의 설정 관련 특징은 작업영역(120)의 설정 관련 특징과 대체로 동일하다. 예컨대, 제어부(100)는 제2마커(144)가 경계상에 배치되도록 플레이스영역(140)을 설정할 수 있으며, 플레이스영역(140)은 사각 형태의 단면을 가지도록 설정될 수 있다.

제어부(100)는 피킹작업 수행 후, 피킹유닛(300)을 제어하여 작업대상물(50)을 플레이스영역(140) 내에 배치시킬 수 있다. 즉, 본 발명의 일 실시예는 작업대상물(50)의 위치 등에 따른 유동적인 작업영역(120) 설정은 물론, 상기 작업대상물(50)이 배치될 플레이스영역(140) 또한 유동적으로 설정할 수 있으므로 작업 효율 측면에서 유리하다.

한편, 본 발명의 일 실시예는 상기 작업대상물 선정단계(S30)에서, 상기 촬영부(200)는 상기 작업영역(120)의 뎁스이미지를 촬영하고, 상기 제어부(100)는 상기 뎁스이미지로부터 미리 설정된 좌표계상의 포인트 클라우드를 생성하며, 상기 포인트 클라우드를 분석하여 상기 작업대상물(50)을 선정할 수 있다.

도 4에는 본 발명의 일 실시예에서 촬영부(200)에 의해 촬영되는 뎁스이미지를 예시적으로 나타낸 이미지이다. 본 발명의 일 실시예에서 사용되는 뎁스이미지는 촬영 대상의 3차원적 위치정보를 포함한다.

예컨대, 뎁스이미지는 촬영부(200)로부터 촬영대상까지의 거리 또는 깊이 정보를 포함하는 이미지이며, 제어부(100)는 촬영부(200)에 의해 촬영된 뎁스이미지를 분석하여 작업대상물(50)을 선정할 수 있다.

구체적으로, 촬영부(200)는 작업영역(120)에 대한 뎁스이미지를 촬영하고, 제어부(100)는 뎁스이미지로부터 위치정보를 판독하여 3차원상 위치정보를 가지는 포인트(150)로 이루어지는 포인트 클라우드를 생성한다.

포인트 클라우드는 뎁스이미지로부터 수집된 다수의 포인트(150)로 이루어지는데, 각 포인트(150)는 미리 설정된 좌표계상의 공간정보를 제공한다. 미리 설정된 좌표계는 예컨대 카메라 좌표계 등 제어부(100)에서 정해지는 좌표계일 수 있다.

즉, 제어부(100)는 뎁스이미지로부터 작업영역(120)의 3차원적 공간데이터인 포인트 클라우드를 생성하고, 포인트 클라우드의 분석을 통해 작업영역(120) 내의 각 물체를 파악하며, 각 물체 중 작업대상물(50)의 데이터와 일치하는 대상을 선정할 수 있다.

이에 따라, 본 발명의 일 실시예는 복잡한 센서 등을 구비하지 않고 단지 뎁스이미지를 확보하는 것만으로 작업영역(120) 내에서 작업대상물(50)을 선정할 수 있어 효율적이다.

한편, 상기 작업대상물 선정단계(S30)에서 상기 제어부(100)는 상기 포인트 클라우드에서 상기 좌표계를 기준으로 단위공간(160)별로 존재하는 포인트(150) 개수를 소정의 개수로 축소하여 복셀화를 수행할 수 있다.

뎁스이미지로부터 파악되는 포인트(150)를 모두 포함한 포인트 클라우드는 매우 많은 양의 포인트(150)를 포함하고, 이에 따라 데이터의 크기가 지나치게 커서 제어부(100)의 분석 및 선정에 부담이 될 수 있다.

따라서, 본 발명의 일 실시예는 포인트 클라우드에 대해 복셀화를 수행하며, 각 단위공간(160)별로 존재하는 다수의 포인트(150)를 소정의 개수, 예컨대 하나의 포인트(150)로 축소하여 데이터 해상도를 낮출 수 있다.

상기 단위공간(160)은 제어부(100)에 미리 설정된 상기 좌표계를 기준으로 설정되며, 그 크기는 다양하게 설정될 수 있다. 상기 단위공간(160)은 복셀에 해당되고, 단위공간(160) 내의 다수의 포인트(150)는 상기 단위공간(160)의 위치를 대표하는 하나의 포인트(150)로 간소화될 수 있다.

도 5에는 본 발명의 일 실시예에 따른 포인트 클라우드의 복셀화 방식이 개략적으로 도시되어 있다. 구체적으로, 도 5에는 복셀로 표현된 포인트 클라우드에 있어서, 어느 하나의 복셀, 즉 단위공간(160)상 존재하는 다수의 포인트(150)가 하나의 포인트(150)로 치환되는 과정이 개략적으로 표현되어 있다.

본 발명의 일 실시예는 포인트 클라우드의 복셀화를 통해 데이터 크기를 효과적으로 감소시키고 효율적인 데이터 분석을 수행할 수 있다.

한편, 본 발명의 일 실시예는 상기 작업대상물 선정단계(S30) 이전에, 상기 촬영부(200)가 상기 작업대상물(50)을 촬영하고 상기 제어부(100)가 상기 작업대상물(50)의 데이터를 학습하는 작업대상물 학습단계(S10)를 더 포함할 수 있다.

작업대상물(50)의 데이터는 독립적인 방식으로 생성되어 제어부(100)에 저장될 수도 있으나, 작업 현장의 즉각적인 요구에 대처하기 위해서는 방대한 데이터를 필요로 할 수 있고, 또는 예상하지 못한 작업대상물(50)의 경우 데이터 부재로 인해 작업이 불가할 수도 있다.

위와 같은 점을 고려하여, 본 발명의 일 실시예는 작업대상물 선정단계(S30) 이전에 촬영부(200)를 통해 해당 작업대상물(50)을 직접 촬영하고, 제어부(100)가 해당 작업대상물(50)의 데이터를 수집 및 학습할 수 있다.

이에 따라, 본 발명의 일 실시예는 다양한 종류의 작업대상물(50)에 대한 사전 데이터를 확보할 필요가 없어 유리하고, 나아가 작업 환경에서 즉각적으로 피킹작업이 요구되는 작업대상물(50)의 데이터를 직접 확보함으로써 다양한 상황에 유연하게 대처할 수 있다.

도 1에는 작업대상물 학습단계(S10)가 표현되어 있으며, 다만 도 1에 도시된 것처럼 반드시 작업영역(120) 설정단계(S20) 이전에 수행될 필요는 없으며, 필요에 따라서는 작업영역(120) 설정단계(S20) 이후에 수행될 수도 있다.

한편, 본 발명의 일 실시예는 상기 작업대상물 선정단계(S30) 이후, 상기 제어부(100)가 상기 작업대상물(50)에서 피킹유닛(300)과 접촉되는 피킹부위(180)를 선정하는 피킹부위 선정단계(S40);를 더 포함하고, 상기 피킹단계(S50)에서는, 상기 피킹유닛(300)이 상기 피킹부위(180)에 접촉하여 상기 작업대상물(50)을 피킹할 수 있다.

본 발명의 일 실시예는 피킹유닛(300)에 의한 유효하고 효과적인 피킹작업을 위해, 작업대상물(50)의 피킹부위(180)를 선정할 수 있다. 피킹부위(180)는 피킹유닛(300)과 직접 접촉되는 부위를 의미한다.

피킹유닛(300)은 도 8에 도시된 바와 같이 그리퍼(310), 석션유닛(320) 등 다양한 종류로 마련될 수 있고, 작업대상물(50)의 종류 및 형상 또한 다양할 수 있다. 나아가, 작업대상물(50)의 주변에 타 물체, 즉 방해물이 존재하는 경우에는 적절한 피킹부위(180)가 달라질 수 있다.

즉, 작업대상물(50)에서 직접 피킹유닛(300)이 접촉될 피킹부위(180)는 상황별로 상이할 수 있고, 제어부(100)는 이를 고려하여 피킹부위(180)를 선정하고 효과적인 피킹작업을 가능하게 한다.

피킹부위(180)의 선정은 방해물의 존부, 작업대상물(50)의 형상 및 피킹유닛(300)의 종류 등 다양한 변수를 이용하여 수행될 수 있다.

피킹부위 선정단계(S40)를 통해 피킹부위(180)가 결정되면, 피킹단계(S50)에서 제어부(100)는 피킹유닛(300)을 제어하여 상기 피킹부위(180)를 통해 피킹유닛(300)이 작업대상물(50)을 집어 올리도록 할 수 있다.

도 6에는 본 발명의 일 실시예에 따라 작업대상물(50)에 피킹부위(180)가 선정된 모습이 개략적으로 표현되어 있다. 도 6에서 작업대상물(50)은 대략 박스 형태를 가지며, 제어부(100)에 의해 작업대상물(50)의 상면에 하나의 피킹부위(180)를 선정된 모습이 도시되어 있다.

도 6에는 작업대상물(50)이 박스 형태로 도시되어 있으나, 이는 본 발명의 설명을 위한 하나의 예시일 뿐, 볼트나 컵 등과 같이 다양한 형태일 수 있다.

한편, 본 발명의 일 실시예는 상기 피킹부위 선정단계(S40)에서, 상기 제어부(100)가 상기 포인트 클라우드에 대해 미리 설정된 기준으로 클러스터링을 수행하고, 각 클러스터(190)의 중심점 및 회전각을 추정하여 상기 피킹부위(180)를 선정할 수 있다.

적절한 피킹부위(180)의 선정을 위해서는 뎁스이미지로부터 파악되는 작업대상물(50)의 형상을 구체적으로 파악하는 것이 요구되며, 본 발명의 일 실시예는 효율적인 작업대상물(50) 분석을 위해 포인트 클라우드에 대한 클러스터링 방식을 이용할 수 있다. 클러스터링은 복셀화를 통한 데이터 축소 과정을 생략하고 진행될 수도 있고, 복셀화 이후에 진행될 수도 있다.

제어부(100)는 각 포인트(150)의 거리값을 기준으로 클러스터링을 수행하는 등, 제어부(100)에 미리 설정되는 다양한 기준으로 클러스터링을 수행할 수 있다. 도 7에는 본 발명의 일 실시예에 따른 클러스터링 방식이 개략적으로 나타나 있다.

도 7을 살펴보면, 설명을 위해 표현된 복수의 포인트(150)들이 상대거리를 기준으로 클러스터링되어 있으며, 어느 하나의 클러스터(190)에 대해 중심점과 회전각이 분석되는 모습이 개략적으로 도시되어 있다.

중심점은 해당 클러스터(190) 내의 포인트(150)들 이 가지는 위치를 기준으로 분석될 수 있고, 회전각은 상기 중심점을 기준으로 하는 포인트(150)의 상대위치를 기준으로 분석될 수 있으며, 이 외에도 다양한 방식이 적용될 수 있다.

본 발명의 일 실시예는 뎁스이미지와 포인트 클라우드를 이용하고, 클러스터링 방식을 통해 작업대상물(50)의 구체적인 정보를 분석할 수 있어 추가적인 센서 등의 장비없이 효과적으로 작업대상물(50)을 파악하고 피킹부위(180)를 선정할 수 있다.

한편, 본 발명의 일 실시예는 상기 피킹부위 선정단계(S40)에서, 상기 제어부(100)가 상기 포인트 클라우드로부터 방해물을 확인하고, 상기 방해물과의 충돌이 회피되는 상기 피킹유닛(300)의 이동궤적 및 상기 피킹부위(180)를 선정할 수 있다.

예컨대, 제어부(100)는 포인트 클라우드 상에서 작업대상물(50) 주변에 배치된 타 물체 등과 같은 방해물을 파악할 수 있다. 작업대상물(50) 주변에 존재하는 방해물이 확인되면, 제어부(100)는 방해물과 피킹유닛(300)이 충돌하지 않도록 피킹부위(180)를 선정하며, 피킹작업 도중 피킹유닛(300)이 방해물에 충돌되지 않도록 피킹유닛(300)의 이동궤적으로 설정할 수 있다.

즉, 본 발명의 일 실시예는 작업영역(120) 내 작업대상물(50) 외의 타 물체가 존재하더라도, 상기 타 물체와의 충돌을 효과적으로 방지하면서 피킹작업을 수행할 수 있게 한다.

한편, 본 발명의 일 실시예는 상기 피킹부위 선정단계(S40)에서, 상기 피킹유닛(300)이 그리퍼(310)인 경우, 상기 제어부(100)는 상기 피킹부위(180)를 복수개 선정하고, 상기 피킹유닛(300)이 석션유닛(320)인 경우, 상기 제어부(100)는 상기 피킹부위(180)를 단일개로 선정할 수 있다.

도 8에 도시된 바와 같이 본 발명의 일 실시예는 피킹유닛(300)이 그리퍼(310) 또는 석션유닛(320) 등으로 구비될 수 있다. 또한, 그리퍼(310) 및 석션유닛(320)은 그 형태나 작동방식 등이 상이하므로, 피킹부위(180) 설정 시 피킹유닛(300)의 종류를 고려할 수 있다.

피킹유닛(300)이 그리퍼(310)인 경우, 그리퍼(310)는 적어도 2개 이상의 핑거를 포함하고 작업대상물(50)을 쥐는 작동상 특징을 가지므로, 제어부(100)는 각 핑거에 의해 접촉될 복수의 피킹부위(180)를 선정하게 된다. 나아가, 작업대상물(50)이 회전되는 것을 억제하고자 하는 경우에는 작업대상물(50)의 측면 중 서로 대향하는 부위를 피킹부위(180)로 선정하는 전략이 이용될 수 있다.

한편, 피킹유닛(300)이 석션유닛(320)인 경우, 석션유닛(320)은 음압을 이용하여 작업대상물(50)에 부착되는 작동상 특징을 가지므로, 제어부(100)는 석션유닛(320)에 의해 접촉될 하나의 피킹부위(180)를 선정할 수 있다. 나아가, 안정적인 피킹작업을 위해서 피킹부위(180)는 작업대상물(50)의 상면에서 작업대상물(50)의 중심점에 가깝도록 선정되는 전략이 이용될 수 있다.

한편, 본 발명의 일 실시예는 상기 피킹부위 선정단계(S40)에서, 상기 방해물과의 충돌이 회피되는 상기 이동궤적 및 상기 피킹부위(180)가 선정되지 않는 경우, 상기 제어부(100)는 사용자의 수동제어를 요구하는 알림신호를 송신하며, 상기 수동제어 내용을 학습할 수 있다.

방해물과의 충돌을 회피하고, 피킹유닛(300)의 종류를 고려하는 등, 다수의 조건을 통한 피킹부위(180)의 선정은 상황별로 용이하게 도출되지 않을 수 있다.

예컨대, 방해물에 의해 피킹유닛(300)의 충돌이 불가피하거나, 피킹유닛(300)이 그리퍼(310)로 마련된 상황에서 작업대상물(50)에 2개 이상의 노출면이 존재하지 않는 경우 등에는, 제어부(100)가 피킹부위(180)를 선정할 수 못할 수 있다.

이와 같은 피킹부위(180) 선정 불가능 상황에서, 제어부(100)는 사용자에게 알림신호를 송신할 수 있다. 알림신호는 조작콘솔의 모니터에 출력되거나, 스피커를 통한 음향신호로 전달될 수 있다.

제어부(100)는 알림신호를 통해 사용자에게 수동제어를 요구하며, 사용자에 의한 수동제어 내용을 딥러닝 방식으로 학습하게 된다. 이러한 학습 내용은 이후 유사한 상황에서 피킹부위(180) 불가능 상황을 타개하는 데에 활용될 수 있다.

한편, 본 발명의 일 실시예는 상기 작업대상물 선정단계(S30)에서, 상기 촬영부(200)가 상기 뎁스이미지와 함께 컬러이미지를 촬영하고, 상기 제어부(100)는 상기 컬러이미지를 분석하여 2차원상에서 각 물체가 존재하는 물체영역(112)과 비물체영역(114)을 구분하며, 3차원상에서 상기 비물체영역(114)은 제외하고 상기 포인트 클라우드를 생성할 수 있다.

본 발명의 일 실시예는 뎁스이미지와 더불어 작업영역(120)의 색 정보를 포함하는 컬러이미지를 활용할 수 있다. 구체적으로, 촬영부(200)는 뎁스이미지와 함께 컬러이미지를 촬영하고, 제어부(100)는 상기 컬러이미지를 통해 물체가 존재하는 물체영역(112)과 물체가 존재하지 않는 바닥을 비물체영역(114)으로 구분할 수 있다.

도 9에는 본 발명의 일 실시예에 따라 물체영역(112)과 비물체영역(114)이 구분된 컬러이미지가 예시적으로 도시되어 있다. 도 9를 살펴보면, 물체가 존재하는 물체영역(112)이 마스킹되고, 나머지 구역은 비물체영역(114)으로 구분된 것을 확인할 수 있다.

컬러이미지상에서 물체영역(112)을 구분하는 방식은 다양할 수 있으며, 예컨대 색상의 경계를 이용할 수 있고, 제어부(100)에 미리 저장된 패턴 조건을 통해 바닥 등을 구분할 수도 있다.

한편, 컬러이미지를 통해 2차원상의 물체영역(112)을 특정하고 나면, 제어부(100)는 물체영역(112)에 대응되는 뎁스이미지상의 깊이정보를 통해 상기 물체영역(112)에 대한 포인트 클라우드를 생성할 수 있다.

이에 따라, 비물체영역(114)의 포인트 클라우드 생성 과정이 생략되므로 데이터 크기를 줄일 수 있고, 데이터 처리 과정을 보다 단축시킬 수 있어 유리할 수 있다.

나아가, 본 발명의 일 실시예는 미리 설정된 데이터를 바탕으로 피킹 작업이 요구되는 작업대상물(50)만을 물체영역(112)으로 설정하고, 작업대상물(50)을 제외한 기타 물건은 방해물로 정의하여 비물체영역(114)에 포함함으로써, 포인트 클라우드 생성 과정을 더욱 효과적으로 진행할 수 있다.

구체적으로, 제어부(100)는 복수의 물건이 존재하는 경우, 각 물건들을 모두 물체영역(112)으로 설정하지 않고, 그 중 제어부(100)에 미리 설정되거나 사용자에 의해 선택된 특정 작업대상물(50)만을 물체영역(112)으로 구분할 수 있다.

이 경우, 상기 복수의 물건 중 작업대상물(50)을 제외한 물건은 방해물로 정의될 수 있으며, 상기 방해물은 비물체영역(114)으로 구분되어 마스킹이 제외되고 포인트 클라우드 생성이 생략될 수 있다.

다만, 방해물과 작업대상물(50)과의 조건이 미리 설정된 조건을 달성하는 경우, 예컨대 작업대상물(50)과의 거리가 미리 설정된 거리 이하의 값을 가지는 경우에는 피킹유닛(300)의 충돌 등을 방지하게 위해 상기 방해물에 대한 포인트 클라우드 생성이 허용될 수도 있다.

본 발명은 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.

S10 : 작업대상물 학습단계 S20 : 작업영역 설정단계
S30 : 작업대상물 선정단계 S40 : 피킹부위 선정단계
S50 : 피킹단계 S60 : 플레이스단계
50 : 작업대상물 100 : 제어부
112 : 물체영역 114 : 비물체영역
120 : 작업영역 122 : 제1마커
140 : 플레이스영역 144 : 제2마커
150 : 포인트 160 : 단위공간
180 : 피킹부위 190 : 클러스터
200 : 촬영부 300 : 피킹유닛
310 : 그리퍼 320 : 석션유닛

Claims (14)

1. 작업대상물의 위치를 포함하는 작업영역을 설정하는 작업영역 설정단계;
   촬영부에서 상기 작업영역의 이미지를 촬영하고, 제어부가 상기 이미지를 분석하여 작업대상물을 선정하는 작업대상물 선정단계;
   상기 제어부가 상기 작업대상물에서 피킹유닛과 접촉되는 피킹부위를 선정하는 피킹부위 선정단계; 및
   상기 제어부가 상기 피킹유닛을 작동시켜 선정된 상기 작업대상물을 피킹하는 피킹단계;를 포함하고,
   상기 작업대상물 선정단계에서, 상기 촬영부는 상기 작업영역의 뎁스이미지를 촬영하고, 상기 제어부는 상기 뎁스이미지로부터 미리 설정된 좌표계상의 포인트 클라우드를 생성하며,
   상기 피킹부위 선정단계에서는, 상기 제어부가 상기 포인트 클라우드에 대해 미리 설정된 기준으로 클러스터링을 수행하고, 각 클러스터의 중심점 및 회전각을 추정하여 상기 피킹부위를 선정하는 작업대상물의 피킹 및 플레이스 방법.
2. 제1항에 있어서,
   상기 작업영역 설정단계에서는, 상기 작업대상물의 위치를 포함하는 영역에 제1마커를 배치하고, 상기 제어부가 상기 작업영역의 경계상에 상기 제1마커가 위치되도록 상기 작업영역을 설정하는 작업대상물의 피킹 및 플레이스 방법.
3. 제2항에 있어서,
   상기 제1마커는 복수개로 배치되고,
   상기 제어부는 상기 작업영역이 사각 형태의 경계를 가지도록 설정하며,
   상기 작업영역의 경계는 상기 제1마커 중 어느 하나와 다른 하나가 각각 대각선상의 양측 꼭지점에 해당하도록 설정되는 작업대상물의 피킹 및 플레이스 방법.
4. 제2항에 있어서,
   상기 피킹단계 이후, 상기 제어부가 제2마커를 인식하여 플레이스영역을 설정하고, 상기 피킹유닛을 작동시켜 상기 플레이스영역에 상기 작업대상물을 위치시키는 플레이스단계;를 더 포함하는 작업대상물의 피킹 및 플레이스 방법.
5. 제1항에 있어서,
   상기 작업대상물 선정단계에서,
   상기 포인트 클라우드를 분석하여 상기 작업대상물을 선정하는 작업대상물의 피킹 및 플레이스 방법.
6. 제5항에 있어서,
   상기 작업대상물 선정단계에서,상기 제어부는 상기 포인트 클라우드에서 단위공간별로 존재하는 포인트 개수를 소정의 개수로 축소하여 복셀화를 수행하는 작업대상물의 피킹 및 플레이스 방법.
7. 제6항에 있어서,
   상기 작업대상물 선정단계 이전에, 상기 촬영부가 상기 작업대상물을 촬영하고 상기 제어부가 상기 작업대상물의 데이터를 학습하는 작업대상물 학습단계;를 더 포함하는 작업대상물의 피킹 및 플레이스 방법.
8. 제6항에 있어서,
   상기 피킹단계에서는, 상기 피킹유닛이 상기 피킹부위에 접촉하여 상기 작업대상물을 피킹하는 작업대상물의 피킹 및 플레이스 방법.
9. 삭제
10. 제8항에 있어서,
    상기 피킹부위 선정단계에서는, 상기 제어부가 상기 포인트 클라우드로부터 방해물을 확인하고, 상기 방해물과의 충돌이 회피되는 상기 피킹유닛의 이동궤적 및 상기 피킹부위를 선정하는 작업대상물의 피킹 및 플레이스 방법.
11. 제8항에 있어서,
    상기 피킹부위 선정단계에서,
    상기 피킹유닛이 그리퍼인 경우, 상기 제어부는 상기 피킹부위를 복수개 선정하고,
    상기 피킹유닛이 석션유닛인 경우, 상기 제어부는 상기 피킹부위를 단일개로 선정하는 작업대상물의 피킹 및 플레이스 방법.
12. 제10항에 있어서,
    상기 피킹부위 선정단계에서, 상기 방해물과의 충돌이 회피되는 상기 이동궤적 및 상기 피킹부위가 선정되지 않는 경우, 상기 제어부는 사용자의 수동제어를 요구하는 알림신호를 송신하며, 상기 수동제어 내용을 학습하는 작업대상물의 피킹 및 플레이스 방법.
13. 제5항에 있어서,
    상기 작업대상물 선정단계에서는,
    상기 촬영부가 상기 뎁스이미지와 함께 컬러이미지를 촬영하고,
    상기 제어부는 상기 컬러이미지를 분석하여 2차원상에서 물체가 존재하는 물체영역과 비물체영역을 구분하며, 3차원상에서 상기 비물체영역은 제외하고 상기 포인트 클라우드를 생성하는 작업대상물의 피킹 및 플레이스 방법.
14. 제13항에 있어서,
    상기 제어부는 상기 작업대상물이 존재하는 영역을 상기 물체영역으로 구분하고, 상기 작업대상물 외의 방해물은 비물체영역으로 구분하는 작업대상물의 피킹 및 플레이스 방법.

Images