KR102303510B1 - 적재물 다중 하역 매니퓰레이터의 제어 방법 - Google Patents

Abstract

본 발명은, 이동가능한 바디; 상기 바디의 베이스 부재의 양측에서 상부로 연장되는 측면 서포트 프레임을 포함하며, 상기 측면 서포트 프레임 사이로 컨베이어가 연장되는 것을 허용하는 서포트 프레임; 상기 서포트 프레임에서 Y축 방향으로 이동가능하게 설치되는 Y축 슬라이더; 상기 Y축 슬라이더에 배치되며, 상기 베이스 부재에 대해 X축 방향으로 이동가능한 그립퍼 서포트; 및 상기 그립퍼 서포트의 전측으로 연결되며, 인가되는 진공에 의해 적재물을 진공 부착하는 진공면을 전단에 구비한 진공 그립퍼를 포함하는 적재물 다중 하역 매니퓰레이터를 제공한다.

Description

적재물 다중 하역 매니퓰레이터의 제어 방법{CONTROL METHOD OF MULTI-UNLOADING MANIPULATOR FOR CARGO}

본 발명은 적재물 다중 하역 매니퓰레이터에 관한 것으로, 더욱 상세하게는 컨테이너 내에 적재된 택배 물품 등과 같은 적재물을 하역하는 데 사용되는 적재물 다중 하역 매니퓰레이터에 관한 것이다.

택배 서비스업이 크게 발달하면서 택배물을 운반하는 과정에서의 불필요한 비용 및 시간을 줄이고자 하는 노력이 계속되고 있다. 그 중에서도 트럭 등을 통해 운송되어 온 컨테이너(container)으로부터 택배물품을 내리는 과정은 전체 운송 프로세스에 적지 않은 비중을 차지하는 과정으로, 해당 과정을 보다 효율적으로 개선하고자 하는 많은 아이디어들이 제안되고 있다.

적재물을 하차할 때에 컨테이너의 입구와 외부 컨베이어 사이에 경사면을 만들어 적재물이 경사면을 따라 자연스럽게 하차되도록 구현하는 장치는 국내 공개특허 10-2010-0018824 등을 통해 개시된 바 있다. 그러나 위와 같은 방식의 하역 장치는 컨테이너 입구와 컨베이어 사이 구간에서만 적재물을 이동시킬 수 있을 뿐, 컨테이너 내부에서는 여전히 인력을 투입하여 컨테이너 입구까지 적재물을 밀어내야 하는 문제점이 있다.

대한민국 공개특허공보 제 10-2010-0018824호

본 발명은 컨테이너 내에 적재된 택배 물품 등의 적재물을 컨베이어의 상부로 드랍(drop)할 수 있는 적재물 다중 하역 매니퓰레이터를 제공하는 것을 목적으로 한다.

본 발명은 규칙 또는 불규칙한 배열의 가로열과 세로열을 가지면서 매트리스 형태로 쌓인 적재물 매트리스에서 선택된 세로열을 따라 복수의 적재물을 동시에 컨베이어로 드랍할 수 있는 적재물 다중 하역 매니퓰레이터를 제공하는 것을 목적으로 한다.

본 발명은 규칙 또는 불규칙한 배열의 가로열과 세로열을 가지면서 매트리스 형태로 쌓인 적재물 매트리스에서 적재물들의 배치를 자동으로 인식하고 적재물을 홀딩하여 컨베이어로 드랍할 수 있는 적재물 다중 하역 매니퓰레이터를 제공하는 것을 목적으로 한다.

본 발명은 상기 목적을 달성하기 위해, 이동가능한 바디; 상기 바디의 베이스 부재의 양측에서 상부로 연장되는 측면 서포트 프레임을 포함하며, 상기 측면 서포트 프레임 사이로 컨베이어가 연장되는 것을 허용하는 서포트 프레임; 상기 서포트 프레임에서 Y축 방향으로 이동가능하게 설치되는 Y축 슬라이더; 상기 Y축 슬라이더에 배치되며, 상기 베이스 부재에 대해 X축 방향으로 이동가능한 그립퍼 서포트; 및 상기 그립퍼 서포트의 전측으로 연결되며, 인가되는 진공에 의해 적재물을 진공 부착하는 진공면을 전단에 구비한 진공 그립퍼를 포함하는 적재물 다중 하역 매니퓰레이터를 제공한다.

본 발명의 실시예에 의하면, 상기 진공그립퍼의 진공면은 표면에 흡입홀이 형성된 흡입블록으로 형성되되, 상기 흡입블록은 상기 진공면의 길이방향으로 복수개가 배치되고, 각 흡입블록은 개별적으로 전진 및 후퇴 이동가능하게 설치된다

본 발명의 실시예에 의하면, 상기 그립퍼 서포트와 상기 진공 그립퍼에 양단이 회전가능하게 고정되는 링크암을 더 포함하여, 상기 진공 그립퍼가 상기 그립퍼 서포트에 대해 움직이는 것을 허용한다.

본 발명의 실시예에 의하면, 상기 그립퍼 서포트는 상기 Y축 슬라이더 상에서 X축 방향으로 이송 가능하게 설치된다.

본 발명의 실시예에 의하면, 적재물들을 대한 이미지 데이터를 출력하는 카메라부; 및 상기 진공그립퍼가 동작하도록 제어 신호 출력하는 제어부;를 더 포함하며, 상기 카메라부는, 스테레오 카메라 또는 ToF 카메라일 수 있으며, 상기 제어부는, 상기 카메라부가 출력한 이미지 데이터를 이용하여 뎁스 맵을 생성하고, 상기 뎁스 맵의 히스토그램을 이용하여 작업 영역을 산출하고, 산출된 작업 영역 내 포함된 각 적재물의 중심점을 산출한다.

본 발명의 실시예에 의하면, 상기 제어부는, 상기 히스토그램의 대표값을 이용하여 이산적으로 작업 영역을 산출한다.

본 발명의 실시예에 의하면, 상기 제어부는, 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 더 설정한다.

본 발명의 실시예에 의하면, 상기 제어부는, 상기 설정된 블록 중 최상단에 위치한 블록부터 하역되도록 제어 신호를 출력한다.

본 발명의 실시예에 의하면, 상기 제어부는, 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하고, 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하고, 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남아 있는지 판단할 수 있다.

본 발명의 일 실시예에 따르면, 상기 제어부는 상기 카메라부가 출력한 이미지 데이터를 이용하여 뎁스 맵을 생성하고, 상기 뎁스 맵의 히스토그램을 이용하여 작업 영역을 산출하고, 상기 산출된 작업 영역과 상기 진공그립퍼가 하역한 블록이 동일 작업 영역인지 비교하여 동일 작업 영역 내 적재물이 남아 있는지 판단할 수 있다.

본 발명의 일 실시예에 따르면, 상기 제어부는 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력한 후, 상기 카메라부에서 출력된 이미지 데이터에서 상기 설정된 블록에 포함된 적재물이 남아 있는지 더 판단할 수 있다.

이 경우, 상기 제어부는 상기 카메라부에서 출력된 이미지 데이터에서 상기 설정된 블록 영역에 적재물이 남아 있을 때, 상기 남은 적재물의 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하고, 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력할 수 있다.

본 발명의 일 실시예에 따르면, 상기 제어부는 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남지 않았을 때, 상기 카메라부에서 출력된 이미지 데이터를 이용하여 새로운 작업 영역을 산출할 수 있다.

본 발명은 다른 목적을 달성하기 위해, 적재물 다중 하역 매니퓰레이터를 제어하는 방법으로서, (a) 제어부가 카메라부로부터 적재물들을 대한 이미지 데이터를 수신하는 단계; (b) 상기 제어부가 상기 카메라부가 출력한 이미지 데이터를 이용하여 뎁스 맵을 생성하는 단계; (c) 상기 제어부가 상기 뎁스 맵의 히스토그램을 이용하여 작업 영역을 산출하는 단계; 및 (d) 상기 제어부가 상기 산출된 작업 영역 내 포함된 각 적재물의 중심점을 산출하는 단계;를 포함하는 적재물 다중 하역 매니퓰레이터의 제어 방법을 제공한다.

본 발명의 실시예에 의하면, 상기 (c) 단계는, 상기 제어부가 상기 히스토그램의 대표값을 이용하여 이산적으로 작업 영역을 산출하는 단계이다.

본 발명의 실시예에 의하면, (e) 상기 제어부가 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하는 단계;를 더 포함한다.

본 발명의 실시예에 의하면, 상기 (e) 단계는, 상기 제어부가 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하는 단계이다.

본 발명의 실시예에 의하면, (f) 상기 제어부가 상기 하나의 블록에 대응하도록 상기 진공그립퍼의 동작을 제어하는 신호 출력하는 단계;를 더 포함한다.

본 발명의 실시예에 의하면, 상기 (f) 단계는, 상기 제어부가 상기 설정된 블록 중 최상단에 위치한 블록부터 하역되도록 제어 신호 출력하는 단계이다.

본 발명의 실시예에 의하면, (a) 제어부가 상기 카메라부에서 출력된 이미지 데이터를 이용하여 산출된 작업 영역 내 포함된 각 적재물의 중심점을 산출하는 단계; 이후에, (b) 상기 제어부가 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하는 단계; (c) 상기 제어부가 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하는 단계; 및 (d) 상기 제어부가 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남아 있는지 판단하는 단계;를 더 포함할 수 있다.

본 발명에 따른 적재물 다중 하역 매니퓰레이터의 제어 방법의 상기 (d) 단계는, (d-1) 상기 제어부가 상기 카메라부가 출력한 이미지 데이터를 이용하여 뎁스 맵을 생성하는 단계; (d-2) 상기 제어부가 상기 뎁스 맵의 히스토그램을 이용하여 작업 영역을 산출하는 단계; 및 (d-3) 상기 제어부가 상기 산출된 작업 영역과 상기 진공그립퍼가 하역한 블록이 동일 작업 영역인지 비교하여 동일 작업 영역 내 적재물이 남은지 판단하는 단계;를 포함할 수 있다.

본 발명에 따른 적재물 다중 하역 매니퓰레이터의 제어 방법은 상기 (c) 단계 이후, (c-1) 상기 제어부가 상기 카메라부에서 출력된 이미지 데이터에서 상기 설정된 블록에 포함된 적재물이 남아 있는지 판단하는 단계;를 더 포함하고, 상기 (c-1) 단계 이후, (c-2) 상기 제어부가 상기 카메라부에서 출력된 이미지 데이터에서 상기 설정된 블록 영역에 적재물이 남아 있을 때, 상기 남은 적재물의 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하는 단계; 및 (c-3) 상기 제어부가 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하는 단계;를 더 포함할 수 있다.

본 발명에 따른 적재물 다중 하역 매니퓰레이터의 제어 방법은 (e) 상기 제어부는, 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남지 않았을 때, 상기 카메라부에서 출력된 이미지 데이터를 이용하여 새로운 작업 영역을 산출하는 단계;를 더 포함할 수 있다.

본 발명에 따른 적재물 다중 하역 매니퓰레이터에 의하면, 컨테이너 내부로 진입 이동하면서 컨테이너 내부에 적재된 택배 물품 등의 적재물을 컨베이어의 상부로 탈락시켜 외부로 반출할 수 있다. 본 발명에 의하면, 규칙 또는 불규칙한 배열의 가로열과 세로열을 가지면서 매트리스 형태로 쌓인 적재물 매트리스에서 선택된 세로열을 따라 배치되는 있는 복수의 적재물을 동시에 컨베이어로 드랍할 수 있으므로 작업 효율성이 향상된다.

본 발명에 의하면, 컨테이너 내부에 적재된 적재물들의 배치를 자동으로 인식하여 자동으로 동작을 수행할 수 있다.

도 1은 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 사시도이다.
도 2 은 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 측면도이다.
도 3 은 본 발명에 따른 적재물 다중 하역 매니퓰레이터에서 진공그립퍼를 설명하기 위한 평면도이다.
도 4 는 본 발명에 따른 제어부의 화물인식방법에 대한 흐름도이다.
도 5는 컨테이너에 적재된 화물의 예시도이다.
도 6은 작업 영역에 포함된 적재물들의 중심점에 대한 참고도이다.
도 7은 하나의 블록에 포함된 적재물들이 하역된 예시적 상황이다.
도 8은 일부 하역되지 않은 적재물이 남은 상황의 예시도이다.
도 9는 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 제어 방법 중 적재물을 하역하는 순서에 대한 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명하기로 한다.

본 발명의 실시예에 따른 적재물 다중 하역 매니퓰레이터는 트럭 등의 컨테이너로부터 택배 상자 등과 같은 적재물을 하역하기 위한 것이다. 컨테이너는 트럭 등에 일체로 구비된 형태뿐만 아니라, 트레일러에 의해 운반되는 컨테이너 등 다양한 형태의 컨테이너를 포함한다. 적재물은 택배 상자 등과 같은 상자 형태뿐만 아니라, 컨테이너 내에서 규칙 또는 불규칙한 가로열과 세로열을 이루면서 적층되는 다양한 형태의 적재물을 포함할 수 있다.

본 명세서에서 적재물 매트리스는, 컨테이너 내부에 적재물들이 규칙 또는 불규칙한 배열의 가로열과 세로열을 이루면서 적재된 형태를 의미하는 것으로서, 컨테이너의 깊이 방향으로도 적재물 매트리스를 이루면서 적재된다. 컨테이너 내부에 적재되는 적재물들, 박스 형태로 포장된 택배 상자일 수 있다. 이러한 택백 상자들은 내부에 포장된 물품의 크기에 따라 다양한 크기를 가지기 때문에 컨테이너의 폭 방향, 높이 방향, 깊이방향으로 불규칙한 배열을 이루면서 전체적으로 직육면체를 이루도록 배치된다.

본 발명의 실시예에 따른 적재물 다중 하역 매니퓰레이터는 깊이방향으로 앞쪽에 위치하는 적재물 매트리에서 최상위 세로열부터 아래 방향의 세로열 방향으로 적재물을 하역하고, 앞쪽 깊이열의 적재물 매트리스의 적재물이 하역하고 나면 다음으로 위치하는 깊이열의 적재물 매트리스에서 다시 최상위 세로열부터 아래 방향의 세로열 방향으로 적재물을 하역하는 방식으로 동작할 수 있다. 그러나 본 발명의 실시예에 따른 적재물 다중 하역 매니퓰레이터에 적재물 하중 방식은 상술한 설명에 의해 제한되지 않으며, 변형이 가능하다. 이하에서는 본 발명에 따른 적재물 다중 하역 매니퓰레이터가 어떻게 동작할 수 있는지 기계적 구조를 설명하고, 적재물을 어떻게 파악하여 어떠한 순서로 하역하는지 제어 알고리즘에 대해서 설명하도록 하겠다. 먼저, 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 기계적 구조에 대한 설명이다.

도 1은 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 사시도이고, 도 2 은 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 측면도이며, 도 3 은 본 발명에 따른 적재물 다중 하역 매니퓰레이터에서 진공그립퍼를 설명하기 위한 도면이다.

본 발명의 실시예에 다른 적재물 다중 하역 매니퓰레이터는 바디(100)와, Y축 슬라이더(200)와, 그립퍼 서포트(300)와, 진공그립퍼(500), 카메라(700), 제어부(800)를 포함한다.

바디(100)는 바퀴(110)에 의해 움직임이 가능하게 구성된다. 바디는 플레이트 형태의 베이스 부재(120)를 포함하고, 베이스 부재(120)의 양측으로 전후단 각각 바퀴(110)를 구비한다. 본 발명의 실시예에 의하여 바퀴를 구동할 수 있는 드라이빙 유닛(미도시)이 구비되며, 외부에서 조이스틱 등을 통해 운전을 제어할 수 있게 설정될 수 있다.

바디(100)가 움직임 가능하게 구성되므로, 컨테이너에서 깊이열 방향으로 앞쪽의 적재물이 하역되고 나면, 컨테이너 내부로 전진하여 뒤쪽의 적재물을 하역시킬 수 있다.

베이스 부재(120)에는 서로 대향하는 배치되는 양측 측면 서포트 프레임(132)을 포함하는 서포트 프레임(130)들을 구비한다. 양측 측면 서포트 프레임(132)의 상단을 연결하는 수평 프레임(134)을 구비하며, 서포트 프레임(130)은 갠트리 구조로 형성될 수 있다. 서포트 프레임(130)의 내부인 양측 서포트 프레임(132) 사이로 컨베이어(600)가 연장되어 배치될 수 있다.

Y축 슬라이더(200)는 서포트 프레임(130)의 지지되어 높이 방향인 Y축 방향으로 이동가능하게 설치된다.

Y축 슬라이더(200)를 Y축 방향으로 이송시키기 위한 Y축 이송유닛이 제공된다. Y축 이송유닛은 안내 가이드(252), 스크류 가이드(254), 이동블록(258)을 포함한다.

측면 서포트 프레임(132) 내측면에 한 쌍의 안내 가이드(252)가 배치되고, 안내 가이드(252)의 사이에 이동블록(258)이 장착된 스크류 가이드(254)가 배치된다. 스크류 가이드(254)의 회전에 이동블록(258)이 상하 이동된다.

Y축 슬라이더(200)는 이동가이드(252) 및 이동블록(258)에 의해 지지되고, 이동블록(258)의 움직임을 따라 Y축 방향으로 상하 이동된다.

스크류 가이드(254)를 구동시키는 구동모터(260)는, 양측 측면 서포트 프레임(132)의 상단을 연결하는 수평 프레임(134)에 배치된다. 본 발명의 실시예에 의하면, 구동 벨트(미도시)를 통해 양측 스크류 가이드(254)의 상단(255)이 구동모터(260)의 회전력을 동시에 전달받도록 배치된다. 이를 통해 측면 서포트 프레임(132)에 각각 위치한 Y축 이송유닛의 동기화를 달성한다. Y축 슬라이더(200)는 양 측단이 지지되면서 안정적으로 상하 방향으로 움직일 수 있다.

Y축 슬라이더(200) 상에 그립퍼 서포트(300)가 설치된다. 본 발명의 실시예에 의하면, 그립퍼 서포트(300)는 Y축 슬라이더(200) 상에서 X축 방향으로 이송가능하게 설치된다. 그립퍼 서포트(300)는 Y축 슬라이더(200) 상에서 가이드 레일(미도시) 등에 의해 지지되어 X축 방향으로 이송가능하게 설치되므로, 베이스 부재(120)에 대하여 X축 방향으로 이송가능하다.

본 발명의 실시예에 의하면, Y축 슬라이더(200)에는 그립퍼 서포트(300)를 X축 방향으로 이송시키기 위한 X축 이송유닛이 제공된다.

X축 이송유닛은 그립퍼 서포트(300)에 구비되는 랙기어(360)를 포함한다. Y축 슬라이더(200)에 구동모터(362)가 배치되고, 랙 기어(360)에 구동모터(362)의 구동기어가 맞물려 그립퍼 서포트(300)가 Y축 슬라이더(200) 상에서 X축 방향으로 이송된다.

본 발명의 실시예에 의하면, Y축 이송유닛은 스크류 타입 가이드를 적용하고 있으며, X축 이송유닛은 랙 기어 타입을 적용하고 있으나, 다양한 이송가이드가 적용될 수 있다.

본 발명의 실시예에 의하면 서포트 프레임(130)에 Y축 슬라이더(200)가 설치되고 Y축 슬라이더(200)에 그립퍼 서포트(300)가 X축 방향으로 이송가능하게 설치되므로, 그립퍼 서포트(300)는 베이스 부재에 대해 상하 운동 전진 및 후퇴 운동이 가능하게 된다.

그립퍼 서포트(300)의 전단에는 진공그립퍼(500)가 설치된다. 본 발명의 실시예에 의하면, 진공 그립퍼(500)는 링크암(400)을 통해 그립퍼 서포트(300)에 연결된다. 진공 그립퍼(500)는 그립퍼 서프트(300)에 대해 상하 방향 높이 조절이 가능하다.

진공그립퍼(500)는 전단으로 진공을 통해 적재물을 부착하는 부착면(510)이 형성된다. 이러한 부착면은 다수의 진공컵이 배치된 형태일 수 있다.

본 발명의 실시예에 의하면, 부착면(510)은 전면으로 흡입홀이 형성된 흡입블록(520)으로 형성된다. 흡입블록(520)의 전면에는 진공 흡입력을 유지 또는 향상시키기 위한 보조부재가 구비될 수 있다.

본 발명의 실시예에 의하면, 부착면(510)은 복수의 흡입블록(520)이 적어도 가로열 즉, 진공면의 길이방향으로 배치되어 형성된다. 여기서, 각각의 흡입블록(520)은 개별적으로 전진 및 후퇴 가능하게 배치되는 데, 각 흡입블록(520)이 지지봉(542)에 지지되면서 개별적으로 전진 및 후퇴 가능하게 배치된다.

흡입블록(520)에는 다수의 진공연결부(524)가 형성되어 흡입홀들과 연결된다. 진공이 인가되면 흡입블록(520)에 택배 상자의 표면이 진공 부착되고, 택배 상자를 적재물 매트리스에서 이탈시킨 후 진공이 제거되면, 택배 상자는 아래에 위치한 컨베이어(600)로 드랍된다. 드랍된 택배 상자는 컨베이어(600)를 통해 컨테이너의 외부로 반출된다.

진공그립퍼(500)는 가로열과 세로열을 이루면서 배치된 적재물 매트리스에서 상위 세로열에 접근하여 택배 상자들의 표면에 진공부착을 행한다. 이때 세로열에서 배치된 적재물들은 일반적으로 깊이차를 이루면서 배열된다. 예컨대 택배 상자들은 크기가 저마다 다르기 때문에 X축 방향으로 택배 상자들의 표면 위치가 상이하다.

본 발명에 의하면, 복수의 흡입블록(520)은 X축 방향으로 지지봉의 길이만큼 개별적으로 움직이는 것이 가능하다. 따라서, 상대적으로 표면이 근접한 택배상자들을 부착하는 흡입블록(520)은, 상대적으로 표면이 이격된 택배상자들을 부착하는 흡입블록(520) 보다 X축 방향으로 후퇴하는 것이 가능하다. X축 방향 이동은 흡입블록(520)이 택배 상자의 표면과 접촉한 상태에서도 그립퍼 서포트(300)가 추가적으로 X축 방향으로 이동하는 경우 지지봉(542)이 후측으로 이동하면서 발생한다. 그립퍼 서포트(300)의 이동량은 제어부에 의해 제어된다. 그립퍼 서포트(300)의 이동량을 제어하기 위해 다양한 방식이 사용될 수 있다.

본 발명의 실시예에 의하면 딥러닝 기술을 이용한 화물인식 시뮬레이션을 통해 그립퍼 서포트(300)의 이동량이 제어된다. 또한 센서 등이 부가될 수 있다.

링크암(400)은 그립퍼 서포트(300)의 전단에 구비되어 진공그립퍼(500)와 연결된다. 링크암(400)의 후단이 그립퍼 서포트(300)의 몸체에 회전가능하게 고정되고, 타단이 진공 그립퍼(500)의 고정부(505)에 회전가능하게 고정된다. 양측 링크암(400)의 전단 및 후단을 그립퍼 서포트(300) 및 진공 그립퍼(500)에 회전가능하게 고정하는 부분에는 회전축(411, 412)이 설치되고, 각 회전축을 회전시키기 위하여 모터 등의 회전 구동부가 제공된다. 회전 구동부는 링크암(400)의 회전을 제어하여 진공 그립퍼(500)의 높이 방향 위치 즉, Y방향 위치를 조절할 수 있다.

본 발명의 실시예에 의하면, 적재물 다중 하역 매니퓰레이터는 컨베이어 시스템과 연계된다. 바디(100)의 베이스 부재(120)의 상부로 양측 측면 서포트 프레임(132)의 사이로 컨베이어(600)가 연장되고, 컨베이어(600)의 전단이 진공그립퍼(500)의 아래로 배치된다. 따라서 진공그립퍼(500)에 의해 적재 매트리스로부터 이탈한 적재물들은 컨베이어(600)의 상부로 드랍되고, 컨베이어(600)를 통해 컨테이너 외부로 이송된다.

여기까지, 본 발명에 따른 다중 하역 매니퓰레이터의 기계적 구조에 대한 설명이였다. 이하에서는 본 발명에 따른 다중 하역 매니퓰레이터가 어떻게 적재물을 인식하는지 알고리즘에 대해서 설명하도록 하겠다.

본 발명에 따른 적재물 다중 하역 매니퓰레이터는 카메라(700)를 포함하고, 딥러닝 기술을 이용하여 화물을 인식하고, 적재물을 적재물 매트리스로부터 이탈시키기 위해 동작한다. 카메라부(700)는 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 정면 즉, 컨테이너 내부에 적재되는 적재물들을 촬영할 수 있도록 설치될 수 있다. 카메라부(700)는 컨테이너 내부에 적재되는 적재물들에 대한 이미지 데이터를 출력할 수 있다.

본 발명의 일 실시예에 따르면, 카메라부(700)는 적재물들에 3차원 공간 정보를 획득하기 위한 스테레오 카메라(stereo camera)일 수 있다. 스테레오 카메라는 두 대의 카메라가 미리 설정된 간격을 사이에 두고 배치된 장치를 의미한다. 스테레오 카메라를 통해 상기 적재물들의 형상, 컨테이너 배부에 배치된 위치(깊이)에 대한 정보를 획득할 수 있다.

본 발명의 다른 실시예에 따르면, 카메라부(700)는 적재물들에 3차원 공간 정보를 획득하기 위한 ToF(Time of Flight) 카메라일 수 있다. 상기 ToF 카메라는 적외선 광원 및 적외선 센서를 이용하여 이미지의 픽셀에 대한 깊이 정보를 출력할 수 있는 장치를 의미한다. 상기 ToF 카메라를 통해 상기 적재물들의 형상, 컨테이너 배부에 배치된 위치(깊이)에 대한 정보를 획득할 수 있다.

한편, 본 명세서에서는 카메라부(700)가 스테레오 카메라인 실시예를 중심으로 제어부(800)의 동작을 설명하도록 하겠다. 그러나 이하 설명될 실시예가 본 발명의 권리범위를 제한하는 것은 아니다.

본 발명에 따른 제어부(800)는 카메라부(700)에서 출력된 이미지 데이터를 이용하여 적재물들을 인식하고, 적재물들의 인식 결과에 따라 적재물 다중 하역 매니퓰레이터가 적재물들을 하역할 수 있도록 제어할 수 있다.

도 4 는 본 발명에 따른 제어부의 화물인식방법에 대한 흐름도이다.

도 4 를 참조하면, 먼저 단계 S10에서, 제어부(800)는 카메라부(700)로부터 이미지 데이터를 수신할 수 있다. 상기 이미지 데이터는 적재물들이 촬영된 이미지이다.

다음 단계 S20에서, 제어부(800)는 상기 이미지 데이터를 이용하여 뎁스맵(depth map)을 생성할 수 있다. 상기 뎁스 맵은 카메라부(700)와 적재물둘의 사이 거리에 대한 데이터를 가질 수 있다. 상기 스테레오 카메라 또는 ToF 카메라를 이용하여 뎁스 맵을 생성하는 기술은 당업자에게 알려진 기술인바 생성 방법에 대한 상세한 설명은 생략한다.

다음 단계 S30에서, 제어부(800)는 상기 뎁스 맵에 포함된 거리 데이터를 이용하여 히스토그램을 계산할 수 있다. 일 예로, 상기 히스토그램은 거리 정보를 X 축으로 설정되고, Y축을 픽셀의 개수로 설정될 수 있다. 이 때, 상기 X축은 20mm 간격으로 구현될 수 있다. 상기 히스토그램을 통해, 상기 적재물들이 적재된 깊이를 이산적(Discrete)으로 구분할 수 있다. 도 4 에 도시된 예시에서 총 3개의 대표값이 확인된다. 대표값이란, 히스토그램 내 상대적으로 높은 픽셀 개수를 가진 X축 값을 의미한다. 대표값을 선택하는 기준은 다양하게 설정될 수 있다. 가장 멀리 위치한 대표값은 컨테이너의 벽면으로 예상되며, 나머지 2개의 대표값은 적재물들이 2단 깊이로 적재된 상태라는 것을 예상하게 수 있다.

다음 단계 S40에서, 제어부(800)는 상기 히스토그램의 대표값을 이용하여 작업 영역을 산출할 수 있다. 최초 하역 작업의 경우, 제어부(800)는 가장 앞 쪽에 위치한 적재물들 즉, 적재물 다중 하역 매니퓰레이터에 가깝게 위치한 적재물들을 작업 영역으로 산출할 수 있다. 가장 앞 쪽에 위치한 적재물들이 모두 하역된 경우, 제어부(800)는 두번째 위치한 적재무들을 작업 영역으로 산출할 수 있다. 일 예에 따르면, 제어부(800)는 상기 대표값을 기준으로 ±70mm(140mm)의 깊이를 가진 영역을 상기 작업 영역으로 포함시킬 수 있다.

다음 단계 S50에서, 제어부(800)는 이미지 데이터에서 상기 작업 영역에 해당하는 영역만을 추출할 수 있다.

다음 단계 S60에서, 제어부(800)는 상기 작업 영역 내 포함된 각각의 적재물을 구별하고, 각 적재물이 위치한 높이에 따른 작업 중심점을 산출할 수 있다.

보다 구체적으로, 제어부(800)는 이미지 내 특징점을 추축하고, 이를 이용하여 개별 적재물의 외형(박스)를 추출할 수 있다. 이 때, 상기 이미지는 정형화물(박스) 및 비정형화물들이 적재되어 있는 형태가 일반적이기 때문에 이미지 특성상 객체 아랫면으로는 공간(이미지상에서는 여백)이 없는 RGB 이미지일 가능성이 높다. 그래서 일반적인 RCNN의 계열의 딥러닝 기술로는 바운딩 박스들의 크기가 큰 오차가 생기면 화물들의 위치를 정확히 인식하는데 문제가 발생할 수 있다. 바람직하게, 상기 제어부(800)는 빠른 실시간 객체 검출을 특징으로 하는 YOLO 모델을 기반으로 객체들을 추출하고 객체의 정확한 픽셀단위 너비를 예측하는 Masking 레이어를 추가한 모델을 이용하여 보다 정확하게 적재물들을 구분할 수 있다.

여기까지 본 발명에 따른 다중 하역 매니퓰레이터가 어떻게 적재물을 인식하는지 알고리즘에 대해서 설명을 하였다. 이하에서는 본 발명에 따른 다중 하역 매니퓰레이터가 어떤 순서로 인식된 적재물을 하역하는지 알고리즘에 대해서 설명하도록 하겠다.

도 5는 컨테이너에 적재된 화물의 예시도이다.

도 5의 (a)는 컨테이너의 측면 투시도로서 화물들이 깊이 방향으로 3열로 적재된 상태인 것을 확인할 수 있다. 이때, 제일 앞쪽에 적재된 화물은 5단 적재상태이고, 중간에 적재된 화물은 6단 적재 상태이고, 제일 뒷쪽에 적재된 화물은 7단 적재 상태이다. 도 5의 (a)에서, 컨테이너의 왼쪽 입구를 통해서 본 발명에 따른 적재물 다중 하역 매니퓰레이터가 화물들에게 접근이 가능한 것을 확인할 수 있다. 따라서, 상기 카메라부(700)를 통해 촬영한 이미지는 도 5의 (b)와 같이 보여질 수 있다.

도 5에 도시된 예시 상황에서, 도 4를 통해 설명한 바에 따르면 가장 첫 번째로 산출되는 작업 영역은 5단으로 적재된 화물들이다. 그리고 작업 영역에 포함된 적재물들의 각 중심점이 산출될 수 있다. 도 6은 작업 영역에 포함된 적재물들의 중심점에 대한 참고도이다. 상기 제어부(800)는 비슷한 높이를 가진 적재물끼리 크러스터링을 수행할 수 있다. 일 예로, 상기 제어부(800)는 가장 높은 중심점을 기준으로 200mm 이내에 중심점이 포함된 적재물들을 제1 블록으로 설정할 수 있다. 상기 제어부(800)는 상기 제1 블록에 포함되지 않은 중심점 중 가장 높은 중심점을 기준으로 다시 200mm 이내에 중심점이 포함됨 적재물들을 제2 블록으로 설정할 수 있다. 이처럼 작업 영역 내 모든 적재물에 대해서 최하단까지 블록으로 지정하는 작업을 수행할 수 있다. 한편, 상기 중심점을 기준으로 하나의 블록에 포함되는 범위는 상기 흡입블록(520)의 높이에 대응하여 설정될 수 있다. 도 6에 도시된 예시에서는 적재물의 2단 높이가 제1 블록으로 설정된 것으로 가정하겠다.

이후 상기 제어부(800)는 상기 제1 블록에 포함됨 적재물들부터 하역되도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력할 수 있다. 그리고 상기 제어부(800)는 상기 카메라부(700)에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남아 있는지 판단할 수 있다. 본 발명에 따른 적재물 다중 하역 매니퓰레이터는 가장 가까운 적재물을 모두 하역한 후에 다음 작업 영역으로 접근하기 때문에, 적재물들을 하역한 후에 동일 작업 영역 내 적재물이 남아 있는지 확인할 필요가 있다.

도 7은 하나의 블록에 포함된 적재물들이 하역된 예시적 상황이다.

도 7을 참조하면, 가장 앞쪽에 적재되어 5단 화물의 상위 2단이 하역되어 3단으로 적재된 상태인 것을 확인할 수 있다. 이때, 상기 제어부(800)는 동일 작업 영역 내 적재물이 남아 있는지 판단한다. 도 7의 예시에서, 아직 동일 작업 영역에 화물들이 3단으로 적재된 상태이기 때문에 다음 작업 영역으로 이동하지 않고, 나머지 적재물들을 하역하도록 제어 신호를 출력할 수 있다. 즉, 상기 제어부(800)는 중심점을 기준으로 제2 블록으로 설정하고, 제2 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하고, 다시 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남아 있는지 판단할 수 있다.

이 경우, 상기 제어부(800)는 도 4에 도시된 방법을 통해서 적재물이 남아 있는지 판단할 수 있다. 즉, 상기 제어부(800)는 상기 카메라부가 출력한 이미지 데이터를 이용하여 뎁스 맵을 생성하고, 상기 뎁스 맵의 히스토그램을 이용하여 작업 영역을 산출하고, 상기 산출된 작업 영역과 상기 진공그립퍼가 하역한 블록이 동일 작업 영역인지 비교하여 동일 작업 영역 내 적재물이 남아 있는지 판단할 수 있다.

그리고 상기 동일 작업 영역 내 적재물이 남아 있지 않았을 때, 상기 제어부(800)는 상기 카메라부(700)에서 출력된 이미지 데이터를 이용하여 새로운 작업 영역을 산출할 수 있다. 이 경우, 도 5에서 6단으로 적재된 화물들이 새로운 작업 영역으로 산출될 수 있다.

한편, 도 5에 도시된 예시는 이해의 편의를 위해, 동일한 규격의 화물들이 동일한 간격으로 적재된 상태를 도시하였으나, 실제 작업 환경은 그렇지 않다. 따라서, 하나의 블록을 하역하려고 하였으나 일부 적재물이 남아 있을 수 있다.

도 8은 일부 하역되지 않은 적재물이 남은 상황의 예시도이다.

도 8을 참조하면, 4단 높이에 2개의 적재물이 남은 것을 확인할 수 있다. 앞선 상황에서, 4단 및 5단에 적재된 화물들이 함께 하역대상이였으나, 상기 진공그립퍼에 의해 하역되지 못 한 상태이다.

이 경우, 상기 제어부(800)는 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력한 후, 상기 카메라부(700)에서 출력된 이미지 데이터에서 상기 설정된 블록에 포함된 적재물이 남아 있는지 더 판단할 수 있다. 그리고 상기 제어부(800)는 상기 카메라부(700)에서 출력된 이미지 데이터에서 상기 설정된 블록 영역에 적재물이 남아 있을 때, 상기 남은 적재물의 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하고, 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력할 수 있다. 즉, 상기 남은 적재물이 다시 하역될 수 있도록 블록 설정을 하는 것이다.

도 9는 본 발명에 따른 적재물 다중 하역 매니퓰레이터의 제어 방법 중 적재물을 하역하는 순서에 대한 흐름도이다.

도 9를 참조하면, 도 4에 도시된 단계 S60이 도시된 것을 확인할 수 있다. 따라서, 이후 흐름도는 도 4에 도시된 단계 S60 이후의 진행 알고리즘으로 이해할 수 있다. 단계 S70에서, 상기 제어부(800)는 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정할 수 있다.

그리고 다음 단계 S80에서, 상기 제어부(800)는 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력할 수 있다.

본 명세서의 일 실시예에 따르면, 상기 제어부(800)는 단계 S81에서 상기 카메라부(700)에서 출력된 이미지 데이터에서 상기 설정된 블록에 포함된 적재물이 남아 있는지 판단할 수 있다. 만약 설정된 블록에 포함된 적재물이 남아 있다면, 단계 S82로 이행한다.

단계 S82에서 상기 제어부(800)는 남은 적재물의 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정할 수 있다. 그리고 단계 S80을 재 실행할 수 있다.

한편, 단계 S81에서 설정된 블록 내 적재물이 남아 있지 않은 경우, 단계 S90으로 이행할 수 있다. 상기 제어부(800)는, 단계S90에서, 상기 카메라부(700)에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남아 있는지 판단할 수 있다. 만약, 동일 작업 영역 내 적재물이 남아 있는 경우, 단계 S70으로 이행하여 단계 S70 내지 S90을 반복 실행할 수 있다. 반면, 동일 작업 영역 내 적재물이 남아 있지 않는 경우, 단계 S10으로 이행하여 새로운 작업 영역을 설정하고, 단계 S10 내지 S90을 반복실행할 수 있다. 상기 프로세스는 컨테이너 내 모든 적재물이 하역될 때까지 반복될 수 있다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환은 본 발명의 보호범위에 속한다.

Claims (10)

1. 적재물들을 대한 이미지 데이터를 출력하는 카메라부; 및
   진공그립퍼의 동작을 제어하는 신호 출력하는 제어부;를 포함하는 적재물 다중 하역 매니퓰레이터에 있어서,
   상기 제어부는,
   상기 카메라부에서 출력된 이미지 데이터를 이용하여 산출된 작업 영역 내 포함된 각 적재물의 중심점을 산출하고, 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하고, 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하고, 상기 카메라부에서 출력된 이미지 데이터에서 상기 설정된 블록에 포함된 적재물이 남아 있는지 판단하고, 적재물이 남아 있을 때, 상기 남은 적재물의 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하고, 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하고, 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남아 있는지 판단하는 것을 특징으로 하는 적재물 다중 하역 매니퓰레이터.
2. 청구항 1에 있어서,
   상기 제어부는, 상기 카메라부가 출력한 이미지 데이터를 이용하여 뎁스 맵을 생성하고, 상기 뎁스 맵의 히스토그램을 이용하여 작업 영역을 산출하고, 상기 산출된 작업 영역과 상기 진공그립퍼가 하역한 블록이 동일 작업 영역인지 비교하여 동일 작업 영역 내 적재물이 남아 있는지 판단하는 것을 특징으로 하는 적재물 다중 하역 매니퓰레이터.
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 제어부는, 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남지 않았을 때, 상기 카메라부에서 출력된 이미지 데이터를 이용하여 새로운 작업 영역을 산출하는 것을 특징으로 하는 적재물 다중 하역 매니퓰레이터.
6. 청구항 1, 2 및 5 중 어느 한 항에 따른 적재물 다중 하역 매니퓰레이터를 제어하는 방법으로서,
   (a) 제어부가 상기 카메라부에서 출력된 이미지 데이터를 이용하여 산출된 작업 영역 내 포함된 각 적재물의 중심점을 산출하는 단계;
   (b) 상기 제어부가 상기 작업 영역 내 중심점 중 가장 높은 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하는 단계;
   (c) 상기 제어부가 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하는 단계;
   (c-1) 상기 제어부가 상기 카메라부에서 출력된 이미지 데이터에서 상기 설정된 블록에 포함된 적재물이 남아 있는지 판단하는 단계;
   (c-2) 상기 제어부가 상기 카메라부에서 출력된 이미지 데이터에서 상기 설정된 블록 영역에 적재물이 남아 있을 때, 상기 남은 적재물의 중심점을 기준으로 미리 설정된 범위에 포함된 중심점을 가진 적재물들을 하나의 블록으로 설정하는 단계;
   (c-3) 상기 제어부가 상기 블록을 하역하도록 상기 진공그립퍼의 동작을 제어하는 신호를 출력하는 단계; 및
   (d) 상기 제어부가 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남아 있는지 판단하는 단계;를 포함하는 적재물 다중 하역 매니퓰레이터의 제어 방법.
7. 청구항 6에 있어서,
   상기 (d) 단계는,
   (d-1) 상기 제어부가 상기 카메라부가 출력한 이미지 데이터를 이용하여 뎁스 맵을 생성하는 단계;
   (d-2) 상기 제어부가 상기 뎁스 맵의 히스토그램을 이용하여 작업 영역을 산출하는 단계; 및
   (d-3) 상기 제어부가 상기 산출된 작업 영역과 상기 진공그립퍼가 하역한 블록이 동일 작업 영역인지 비교하여 동일 작업 영역 내 적재물이 남아 있는지 판단하는 단계;를 포함하는 적재물 다중 하역 매니퓰레이터의 제어 방법.
8. 삭제
9. 삭제
10. 청구항 6에 있어서,
    (e) 상기 제어부는, 상기 카메라부에서 출력된 이미지 데이터에서 동일 작업 영역 내 적재물이 남지 않았을 때, 상기 카메라부에서 출력된 이미지 데이터를 이용하여 새로운 작업 영역을 산출하는 단계;를 더 포함하는 적재물 다중 하역 매니퓰레이터의 제어 방법.

Images