KR102473296B1 - 픽앤플레이스 모니터링 방법, 그의 제어 장치 및 시스템 - Google Patents

Abstract

픽앤플레이스 모니터링 방법에 관한 것이며, 픽앤플레이스 모니터링 방법은 사용자 단말로부터 이송 요청 정보를 수신하는 단계; 상기 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하는 단계; 사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 상기 사용자 단말로 반환하는 단계; 수락된 상기 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하는 단계; 상기 결정된 목적 위치 정보, 상기 이미지 정보 및 상기 무게 정보 중 적어도 하나 및 이송학습모델을 기초로 이송 계획을 결정하는 단계; 상기 이송 계획에 따라 픽앤플레이스 장치를 제어하는 단계; 제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 상기 이송 계획을 수정 후 재적용하는 단계; 상기 이송 과정의 완료 후 상기 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키는 단계; 및 상기 이송 요청 정보의 수행을 완료하면 완료 정보를 사용자 단말로 알리는 단계를 포함할 수 있다.

Description

픽앤플레이스 모니터링 방법, 그의 제어 장치 및 시스템{METHOD AND APPARATUS, SYSTEM FOR MONITORING PICK AND PLACE MACHINE}

본원은 픽앤플레이스 모니터링 방법, 그의 제어 장치 및 시스템에 관한 것이다.

픽앤플레이스 장치는 전 산업 영역에 걸쳐 이용되는 가장 일반적인 로봇으로, 제품을 집어 특정 위치로 이동시키는 작업을 한다.

이와 관련하여, 픽앤플레이스 장치는 자동차, 전자 산업부터 식품 및 의약 산업까지 모든 산업분야에 적용이 가능하고, 운영 비용을 감소시킴과 동시에 생산성을 향상시키므로, 픽앤플레이스 장치 관련 시장이 지속적으로 성장하고 있다.

그러나, 종래의 픽앤플레이스 장치는 정확성의 한계가 있어 장기적인 신뢰도가 떨어진다는 문제점을 갖고 있다. 특히, 부품의 형태나 무게에 따라 이송에 실패하는 경우가 있다.

본원의 배경이 되는 기술은 한국공개실용신안공보 제20-2021-0001001호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자 단말로부터 이송 요청 정보를 수신하고, 상기 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하고, 사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 상기 사용자 단말로 반환하고, 수락된 상기 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하고, 상기 결정된 목적 위치 정보, 상기 이미지 정보 및 상기 무게 정보 중 적어도 하나 및 이송학습모델을 기초로 이송 계획을 결정하고, 상기 이송 계획에 따라 픽앤플레이스 장치를 제어하고, 제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 상기 이송 계획을 수정 후 재적용하고, 상기 이송 과정의 완료 후 상기 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키고, 상기 이송 요청 정보의 수행을 완료하면 완료 정보를 사용자 단말로 알릴 수 있는 픽앤플레이스 모니터링 방법, 장치 및 시스템을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법은, 사용자 단말로부터 이송 요청 정보를 수신하는 단계; 상기 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하는 단계; 사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 상기 사용자 단말로 반환하는 단계; 수락된 상기 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하는 단계; 상기 결정된 목적 위치 정보, 상기 이미지 정보 및 상기 무게 정보 중 적어도 하나 및 이송학습모델을 기초로 이송 계획을 결정하는 단계; 상기 이송 계획에 따라 픽앤플레이스 장치를 제어하는 단계; 제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 상기 이송 계획을 수정 후 재적용하는 단계; 상기 이송 과정의 완료 후 상기 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키는 단계; 및 상기 이송 요청 정보의 수행을 완료하면 완료 정보를 사용자 단말로 알리는 단계를 포함할 수 있다.

본원의 일 실시예에 따르면, 허용 가능한 요청 정보는, 요청된 부품이 픽앤플레이스 장치가 부품의 무게중심부를 잡을 수 있는 형태이고, 픽앤플레이스 장치가 허용 가능한 무게 이하인 것일 수 있다.

본원의 일 실시예에 따르면, 목적 위치 정보는, 사용자가 원하는 부품의 이송 위치이고, 픽앤플레이스 장치가 이송할 수 있는 위치인 것일 수 있다.

본원의 일 실시예에 따르면, 이미지 정보는 제2카메라 센서를 이용하여 센싱한 것일 수 있다.

본원의 일 실시예에 따르면, 무게 정보는, 무게 측정 센서를 이용하여 센싱한 것일 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 부품의 무게중심부를 픽앤플레이스 장치로 잡는 것을 포함하되, 무게중심부는 이미지 정보에 기초하여 판단되는 것일 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 픽앤플레이스 장치가 부품을 잡는 힘의 정도를 포함하고, 힘의 정도는 무게 정보에 기초하여 판단되는 것일 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 목적 위치 정보까지의 부품의 이송 경로를 결정하는 것을 포함할 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 부품이 이송 경로를 벗어나지 않도록 하는 속도의 상한 임계값을 포함하되, 임계값은 이미지 정보, 무게 정보 및 이송학습모델에 기초하여 결정되는 것일 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 픽앤플레이스 장치로 잡는 위치, 잡는 힘, 이동 속도 및 이송 경로를 고려하여 재결정 되는 것일 수 있다.

본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치는 사용자 단말로부터 이송 요청 정보를 수신하고, 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하는 수신부; 사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 사용자 단말로 반환하는 판단부; 수락된 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하고, 결정된 목적 위치 정보, 이미지 정보 및 무게 정보 또는 이송학습모델을 기초로 이송 계획을 결정하는 결정부; 이송 계획에 따라 픽앤플레이스 장치를 제어하는 제어부; 수락하지 않은 요청 정보는 사용자 단말로 반환하고, 이송 요청 정보를 완료하면 이송 완료 정보를 사용자 단말로 알리는 발신부를 포함하되, 결정부는 제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 이송 계획을 수정 후 재적용하는 것이고, 판단부는 이송 과정의 완료 후 이송학습모델에 상기 부품에 대해 실시된 최종 이승 과정을 학습시키는 것일 수 있다.

본원의 일 실시예에 따른 픽앤플레이스 모니터링 시스템은 이송 요청 정보를 픽앤플레이스 모니터링 장치로 발신하고, 이송 완료 정보를 픽앤플레이스 모니터링 장치로부터 수신하는 사용자 단말; 사용자 단말로부터 이송 요청 정보를 수신하고, 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하고, 사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 사용자 단말로 반환하고, 수락된 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하고, 결정된 목적 위치 정보, 이미지 정보 및 무게 정보 또는 이송학습모델을 기초로 이송 계획을 결정하고, 이송 계획에 따라 픽앤플레이스 장치를 제어하고, 제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 이송 계획을 수정 후 재적용하고, 이송 과정의 완료 후 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키고, 이송 요청 정보를 완료하면 완료 정보를 사용자 단말로 알리는 픽앤플레이스 모니터링 장치를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 부품의 이미지 정보 및 무게 정보를 획득 및 분석하여 이송 계획의 기초로 함으로써, 이송하고자 하는 부품에 대해 정확한 이송을 할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 이송 과정상 부품의 흔들림을 감지하면 이송 계획을 즉각 수정하여 재적용함으로써, 이송 상 문제가 발생해도 즉시 대처할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 부품의 이송 완료 후 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시켜 추후 동일 및 유사한 부품의 이송 시 상기 이송학습모델을 기초로 함으로써, 부품의 이송의 정확도와 속도를 더 상승시킬 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 픽앤플레이스 모니터링 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법에 대한 동작 흐름도이다.
도 3은 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법의 제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하는 단계를 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법의 제2카메라 센서를 통해 획득한 부품의 이미지 정보를 분석하여 무게중심부를 판단하는 단계를 도시한 도면이다.
도 5는 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법의 무게 측정 센서를 통해 부품의 무게를 측정하여 허용 가능한 무게인지 판단하는 단계를 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치의 개략적인 구성도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본원의 일 실시예에 따른 픽앤플레이스 모니터링 시스템(1)의 개략적인 구성도이다.

도 1을 참조하면, 본원의 일 실시예에 따른 픽앤플레이스 모니터링 시스템(1)은, 본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치(100), 제1카메라 센서(110), 제2카메라 센서(120), 무게 측정 센서(130), 픽앤플레이스 장치(140) 및 사용자 단말(150)을 포함할 수 있다.

픽앤플레이스 모니터링 장치(100)와 제1카메라 센서(110), 제2카메라 센서(120), 무게 측정 센서(130), 픽앤플레이스 장치(140) 및 사용자 단말(150) 상호 간은 네트워크(200)를 통해 통신할 수 있다. 네트워크(200)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(200)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 유무선 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, Wifi 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으며, 이에 한정된 것은 아니다.

사용자 단말(150)은 네트워크(200)를 통해 픽앤플레이스 모니터링 장치(100)와 연동되는 디바이스로서, 예를 들면, 스마트폰(Smartphone), 스마트패드(Smart Pad), 태블릿 PC, 웨어러블 디바이스 등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치 및 데스크탑 컴퓨터, 스마트 TV와 같은 고정용 단말기일 수도 있다.

본원의 일 실시예에 관한 설명에서 사용자 단말(150)은 픽앤플레이스 모니터링 시스템(1)과 연계된 작업 현장에서의 관리자, 작업자 등이 보유한 단말일 수 있다. 이러한 사용자 단말(150)은 본원에서 개시하는 픽앤플레이스 모니터링 장치(100)에 의해 판단되는 정보 및 결정되는 이송 계획, 제1카메라 센서(110)로부터 센싱되는 이송 과정의 이미지 정보, 제2카메라 센서(120)로부터 센싱되는 부품의 이미지 정보, 무게 측정 센서(130)로부터 센싱되는 부품의 무게 정보 및 센싱 정보에 대한 판단 및 분석 결과(예를 들면, 센싱 정보에 대한 판단 및 분석을 통해 도출되는 이송 가능 여부 등)를 확인하는데 활용될 수 있으며, 픽앤플레이스 모니터링 장치(100)에 의해 분석된 센싱 정보가 소정의 이송 판단 프로세스에 대하여 설정된 허용기준범위에서 벗어나거나 결정된 이송 계획에서 벗어나는 경우 미리 설정된 경고 알람 등을 출력하도록 구비되는 것일 수 있다.

픽앤플레이스 모니터링 장치(100)는 이송 판단 과정이 수행되는 대상 공간 또는 이송 과정이 수행되는 대상 공간을 촬영한 원본 영상을 획득할 수 있다. 예를 들면, 본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치(100)는 제1카메라 센서(110) 및 제2카메라 센서(120)를 이용하여 촬영한 대상 공간에 대한 소정의 이미지 정보를 네트워크(200)를 통해 수신하는 것일 수 있다.

본원의 일 실시예에 관한 설명에서, 제1카메라 센서(110) 및 제2카메라 센서(120)는 예시적으로 대상 공간에 대하여 마련된 폐쇄회로 텔레비전(Closed Circuit Television, CCTV)일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 제1카메라 센서(110) 및 제2카메라 센서(120)는 픽앤플레이스 모니터링 장치(100)를 조작 또는 감독하는 작업자가 소지한 사용자 단말(150) 내에 대상 공간을 촬영하도록 구비되는 카메라 모듈을 지칭하는 것일 수 있다.

본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치(100)에 적용되는(달리 말해, 검사의 대상이 되는) 픽앤플레이스 장치(140)는 사용자 단말(150)로부터 수신한 요청 정보에 따라 목적물을 옮길 수 있다. 그러나, 목적물의 형태나 무게 등의 요소에 따라 안정적인 목적물의 이송이 어려울 수 있다. 일 예로, 이송의 목적물이 긴 형태일 경우, 픽앤플레이스 장치(140)가 목적물의 무게중심부를 잡아야 비교적 안정적인 이송을 할 수 있다. 또한 당연하게도 목적물의 형태는 무게중심부를 잡을 수 있는 형태여야 하고, 목적물의 무게는 픽앤플레이스 장치(140)이 이송 가능한 무게여야 할 수 있다. 그리고 이송의 속도 또한 목적물이 흔들리지 않을 속도여야 할 수 있다. 이렇듯 여러 조건을 상정하여 픽앤플레이스 장치(140)를 이용하여 안정적인 이송을 도모하여야 하는 것일 수 있다.

그러므로, 본원의 일 실시예에 따른 픽앤플레이스 모니터링 시스템(1)에서 이송의 목적물인 부품을 픽앤플레이스 장치(140)가 이송하도록 요청하는 이송 요청 정보를 사용자가 사용자 단말(150)을 통해 발신하고, 픽앤플레이스 모니터링 장치(100)가 네트워크(200)를 통해 상기 이송 요청 정보를 수신하고, 상기 이송 요청 정보에 기초하여 제2카메라 센서(120)를 통해 상기 부품의 이미지 정보를 획득하고, 상기 이송 요청 정보에 포함된 희망 시작 위치 정보 및 희망 목적 위치 정보가 픽앤플레이스 장치(140)가 잡을 수 있는 반경 내에 있으면 허용 가능한 이송 요청 정보로서 수락하고, 상기 부품의 이미지 정보의 분석을 통해 부품의 무게중심부를 찾고 무게중심부를 잡을 수 있는지 판단하고, 상기 이송 요청 정보에 기초하여 무게 측정 센서(130)를 통해 부품의 무게 정보를 획득하고 이송 가능한 무게인지 판단하고, 상기 부품의 형태 및 무게가 이송 가능하다고 판단하면, 부품의 무게중심부를 픽앤플레이스 장치(140)으로 잡는 것과 부품의 목적 위치 정보, 부품의 이송 경로, 부품이 이송 경로를 벗어나지 않도록 하는 속도 및 부품을 잡는 힘의 정도를 결정한 것을 포함하고 이송학습모델을 기초로 한 이송 계획을 결정하고, 이송 계획에 따라 픽앤플레이스 장치(140)을 제어하고, 제1카메라 센서(110)를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 이송 계획을 수정 후 재적용하고, 이송 과정의 완료 후 이송학습모델에 부품에 대해 실시된 최종 이송 과정을 학습시키고, 이송 요청 정보를 완료하면 완료 정보를 사용자 단말(150)로 알리고, 수락하지 않은 요청 정보를 사용자 단말(150)로 반환할 수 있다.

본원의 일 실시예에 따르면, 픽앤플레이스 모니터링 장치(100)는 사용자 단말(150)로 이송 요청 메뉴를 제공할 수 있다. 예를 들어, 픽앤플레이스 모니터링 장치(100)가 제공하는 어플리케이션 프로그램을 사용자 단말(150)이 다운로드하여 설치하고, 설치된 어플리케이션을 통해 이송 요청 메뉴가 제공될 수 있다.

픽앤플레이스 모니터링 장치(100)는 사용자 단말(150)과 데이터, 콘텐츠, 각종 통신 신호를 네트워크(200)를 통해 송수신하고, 데이터 저장 및 처리의 기능을 가지는 모든 종류의 서버, 단말, 또는 디바이스를 포함할 수 있다.

도 2는 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법에 대한 동작 흐름도이다.

도 2에 도시된 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법은 앞서 설명된 픽앤플레이스 모니터링 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 픽앤플레이스 모니터링 장치(100)에 대하여 설명된 내용은 픽앤플레이스 모니터링 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 2를 참조하면, 단계 S210에서 수신부(101)는 사용자 단말(150)로부터 이송 요청 정보를 수신할 수 있다. 사용자는 한 지점에 위치한 부품을 픽앤플레이스 장치(140)를 이용하여 다른 한 지점으로 이송하고자 할 때 사용자 단말(150)을 이용하여 이송 요청 정보를 픽앤플레이스 모니터링 장치(100)의 수신부(101)로 발신할 수 있다. 상기 이송 요청 정보는 픽앤플레이스 장치(140)가 잡을 수 있는 범위 안에 있는 부품을 이송할 수 있는 거리에 있는 위치에 이송시키는 내용일 수 있다. 이송 요청 정보는 이송시키고자 하는 부품의 형태의 이미지 정보, 부품의 무게 정보, 부품의 희망 시작 위치 정보 및 부품의 희망 목적 위치 정보 등을 포함할 수 있다.

본원의 일 실시예에 따르면, 단계 S220에서 수신부(101)는 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득할 수 있다. 상기 부품의 이미지 정보 및 무게 정보는 상기 이송 요청 정보에 포함된 부품의 형태의 이미지 정보 및 부품의 무게 정보일 수 있다. 또는, 상기 이미지 정보는 제2카메라 센서(120)로 촬영한 부품의 이미지 정보일 수 있다. 그리고 상기 무게 정보는 무게 측정 센서(130)로 측정한 부품의 무게 정보일 수 있다. 또는 상기 이미지 정보는 상기 이송 요청 정보에 포함된 이미지 정보와 제2카메라 센서(120)로 촬영한 부품의 이미지 정보 중에 사용자가 선택한 하나일 수 있다. 그리고 상기 무게 정보는 상기 이송 요청 정보에 포함된 무게 정보와 무게 측정 센서(130)로 측정한 부품의 무게 정보 중 사용자가 선택한 하나일 수 있다.

본원의 일 실시예에 따르면, 단계 S230에서 판단부(102)는 사용자 단말(150)로부터 수신된 이송 요청 정보가 허용 가능한지 판단하고, 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 발신부(105)가 상기 사용자 단말(150)로 반환(발신)할 수 있다. 상기 허용 가능한 요청 정보는 판단부(102)에 의해 획득한 부품의 이미지 정보, 획득한 부품의 무게 정보, 이송 요청 정보에 포함된 부품의 희망 시작 위치 정보 및 희망 목적 위치 정보 중 적어도 하나를 기초로 판단된 것일 수 있다. 판단부(102)가 상기 이미지 정보를 기초로 부품의 무게중심부를 파악하고, 상기 무게중심부를 픽앤플레이스 장치(140)가 잡을 수 있다고 판단해야 해당 이송 요청 정보가 허용 가능한 요청 정보인 것일 수 있다. 반대로, 판단부(102)가 상기 이미지 정보를 기초로 상기 부품의 무게중심부를 파악하고, 상기 무게중심부를 픽앤플레이스 장치(140)가 잡을 수 없다고 판단하면, 해당 이송 요청 정보를 수락하지 않고 발신부(105)가 사용자 단말(150)로 반환(발신)할 수 있다. 또한, 판단부(102)가 상기 무게 정보를 기초로 상기 부품이 픽앤플레이스 장치(140)가 이송할 수 있는 무게라고 판단하면, 해당 이송 요청 정보가 허용 가능한 요청 정보인 것일 수 있다. 반대로, 판단부(102)가 상기 무게 정보를 기초로 상기 부품이 픽앤플레이스 장치(140)가 이송할 수 없는 무게라고 판단하면, 해당 이송 요청 정보를 수락하지 않고 발신부(105)가 사용자 단말(150)로 반환(발신)할 수 있다. 그리고, 상기 이송 요청 정보에 포함된 상기 희망 출발 위치 정보 및 상기 희망 목적 위치 정보가 픽앤플레이스 장치(140)가 잡을 수 있는 반경 내에 있으면 판단부(102)가 상기 이송 요청 정보를 허용 가능한 요청 정보라고 판단하고 요청 수락할 수 있다. 반대로, 상기 희망 시작 위치 정보 및 상기 희망 목적 위치 정보가 픽앤플레이스 장치(140)가 잡을 수 있는 반경 내에 없으면, 판단부(102)가 해당 이송 요청 정보가 허용 불가능한 요청 정보라고 판단하고, 발신부(105)가 사용자 단말(150)로 상기 허용 불가능한 이송 요청 정보를 반환(발신)할 수 있다.

본원의 일 실시예에 따르면, 판단부(102)에서 제2카메라 센서(120)를 통해 센싱한 부품의 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 제어부(104)가 제2카메라 센서(120)를 제어하여 상기 부품의 이미지 정보를 다시 센싱하고, 수신부(101)가 상기 부품의 2차 이미지 정보를 획득할 수 있다. 판단부(102)에서 2차 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 발신부(105)가 사용자 단말(150)로 무게중심 판단 불가 알림을 발신할 수 있다. 또한, 판단부(102)에서 무게 측정 센서(130)를 통해 센싱한 부품의 무게 정보를 기초로 픽앤플레이스 장치(140)가 상기 부품을 들 수 있는지 판단할 수 없으면, 제어부(104)가 무게 측정 센서(130)를 제어하여 상기 부품의 무게 정보를 다시 센싱하고, 수신부(101)가 상기 부품의 2차 무게 정보를 획득할 수 있다. 판단부(102)에서 2차 무게 정보를 기초로 픽앤플레이스 장치(140)가 상기 부품을 들 수 있는지 판단할 수 없으면, 발신부(105)가 사용자 단말(150)로 이송 무게 판단 불가 알림을 발신할 수 있다.

본원의 일 실시예에 따르면, 단계 S240에서 결정부(103)는 수락된 이송 요청 정보에 기초하여 이송 계획의 시작 위치 정보 및 목적 위치 정보를 결정할 수 있다. 상기 시작 위치 정보 및 상기 목적 위치 정보는 부품을 안전하게 놓을 수 있는 위치를 포함할 수 있다. 상기 부품의 시작 위치 정보 및 목적 위치 정보는 픽앤플레이스 장치(140)가 잡을 수 있는 위치인 것일 수 있다. 그리고 상기 부품의 시작 위치 정보 및 목적 위치 정보는 각각 상기 이송 요청 정보에 포함된 희망 시작 위치 정보 및 희망 목적 위치 정보인 것일 수 있다.

본원의 일 실시예에 따르면, 단계 S250에서 결정부(103)는 결정된 시작 위치 정보, 목적 위치 정보, 상기 이미지 정보 및 상기 무게 정보 중 적어도 하나 및 이송학습모델을 기초로 이송 계획을 결정할 수 있다. 결정부(103)는 목적 위치 정보를 기초로 이송 전 부품이 위치한 시작 지점에서 픽앤플레이스 장치(140)가 이송할 수 있는 어느 위치로 물품을 이송할 것인지에 관한 이송 계획을 결정할 수 있다. 또한, 결정부(103)는 판단부(102)에서 상기 이미지 정보를 기초로 상기 부품의 무게중심부 이송 시 상기 무게중심부를 잡는다는 이송 계획을 결정할 수 있다. 그리고 결정부(103)는 상기 무게 정보를 기초로 이송 시 상기 부품을 어느 정도의 힘으로 잡을 것인지에 관한 이송 계획을 결정할 수 있다. 상기 이송학습모델은 인공지능을 활용하여 부품을 성공적으로 이송했던 최종 이송 과정을 학습시킨 것일 수 있다. 또한, 픽앤플레이스 모니터링 장치(100)는 지도 학습 기반의 상기 이송 학습 모델을 통해 부품에 대한 성공률이 높은 이송 계획을 파악하는 것일 수 있다. 지도 학습이란, 미리 구축된 학습용 데이터(training data)를 활용하여 모델을 학습하는 것을 의미한다. 분류 알고리즘에 기초하여 부품별 성공률이 높은 이송 계획을 파악할 수 있다. 상기 분류 알고리즘은 의사 결정 알고리즘을 포함하며 의사 결정 알고리즘은 예를 들어 Decision Tree알고리즘일 수 있으나, 이에 한정되는 것은 아니다.

또한, 비지도 학습 기반의 데이터 자체를 분석하거나 군집하면서 학습하는 알고리즘을 이용하여 이송하고자 하는 부품의 특징을 파악하고, 픽앤플레이스 모니터링 장치(100)가 상기 부품의 성공률이 높은 이송 계획을 생성할 수도 있다. 예시적으로 비지도 학습을 위한 군집 알고리즘에는 로지스틱 회귀 알고리즘, 랜덤 포레스트 알고리즘, SVM(Support Vector Machine)알고리즘, 의사결정 알고리즘 및 군집 알고리즘이 이용될 수 있다. 또한, 판단부(102)는 상술한 알고리즘 외에도 Extra Tree 알고리즘, XG Boost알고리즘 및 Deep Learning 알고리즘, K-means 클러스터링 알고리즘, SOM(Self-Organizing-Maps) 알고리즘 EM & Canopy 알고리즘과 같은 군집 알고리즘을 통해 비지도 학습을 수행할 수 있다.

또한, 빅데이터 분석을 통해 이송하고자 하는 부품에 있어서 성공률이 높은 이송 계획에 관한 정보를 생성할 수 있다. 부품의 형태, 무게 등에 따른 최종 이송 과정에 관한 정보에 기초하여 빅데이터 분석을 통해 부품별 최적화된 이송 계획 등에 관한 정보를 생성할 수 있다.

본원의 일 실시예에 따르면, 픽앤플레이스 모니터링 장치(100)는 인공지능에 의하여 각 부품에 있어서 더욱 적합한 이송 계획을 생성할 수 있다. 예를 들면, 부품의 형태 및 무게에 따라 주로 수행되었던 최종 이송 과정에 기초하여 부품을 성공적으로 이송시킬 수 있는 이송 계획을 생성할 수 있다. 긴 형태의 부품은 부품의 가장 긴 부분의 중앙부를 잡는 것이나 픽앤플레이스 장치(100)가 공압식 그리퍼를 사용할 때 잡기 어려운 큰 형태의 부품에는 흡착식 그리퍼로 교체하여 잡을 수 있다. 인공지능에 기반한 부품별 이송 계획을 생성하기 위한 지도 학습, 비지도 학습 및 빅데이터 분석에 대한 설명은 상술한 바와 같다.

본원의 일 실시예에 따르면, 단계 S260에서 제어부(104)는 이송 계획에 따라 픽앤플레이스 장치(140)를 제어할 수 있다. 제어부(104)는 이송 계획에 따라 픽앤플레이스 장치(140)가 부품의 어느 부위를 어느 정도의 힘으로 쥐고, 현재 부품의 위치에서 어느 위치까지 어떤 경로를 선택하여 어느 정도의 속도로 이송하도록 픽앤플레이스 장치(140)를 제어할 수 있다.

도 3은 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법의 제1카메라 센서(110)를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하는 단계를 도시한 도면이다.

도 3을 참조하면, 픽앤플레이스 장치(140)가 부품을 이송함에 따라 부품의 x축 상의 흔들림, 부품의 y축 상의 흔들림 및 부품의 z축 상의 흔들림이 발생할 수 있고, x축을 중심으로 양방향 회전하는 움직임인 롤, y축을 중심으로 양방향 회전하는 움직임인 피치 및 z축을 중심으로 양방향 회전하는 움직임인 요의 현상이 부품에 나타날 수 있는데, 전술한 문제를 방지하기 위해 이송 상 발생할 수 있는 부품의 x축, y축 및 z축 상의 흔들림과 롤, 피치 및 요의 흔들림을 제1카메라 센서(110)를 통해 감지할 수 있다.

본원의 일 실시예에 따르면, 단계 S270에서 결정부(103)는 제1카메라 센서(110)를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 상기 이송 계획을 수정 후 재적용할 수 있다. 일 예로, 제어부(104)가 이송 계획에 따라 픽앤플레이스 장치(140)를 제어하여 부품을 이송할 때, 흔들림이 발생할 수 있다. 이송 시 부품의 흔들림이 심해지면, 자칫 픽앤플레이스 장치(140)로부터 상기 부품이 이탈할 수 있으므로, 실제 이송 상 부품의 흔들림을 방지하는 것이 중요할 수 있다. 그러므로, 결정부(103)는 제1카메라 센서(110)를 통해 이송 계획에 따라 부품을 이송 중인 픽앤플레이스 장치(140)를 실시간으로 관측하면서 부품의 x축 상, y축 상, z축 상의 일정 이상의 흔들림을 감지하거나 또는 롤, 피치, 요의 일정 이상의 부품의 흔들림을 감지하면 상기 흔들림을 발생하지 않도록 이송 계획을 즉시 수정하여 수정된 이송 계획을 재적용 할 수 있다. 상기 일정 이상의 흔들림은 기 설정된 흔들림의 정도인 것일 수 있다.

본원의 일 실시예에 따르면, 단계 S280에서 판단부(102)는 이송 과정의 완료 후 이송학습모델에 부품에 대해 실시된 최종 이송 과정을 학습시킬 수 있다. 일 예로, 픽앤플레이스 장치(140)가 기존에 이송했던 부품과 동일한 부품을 다시 이송할 때, 결정부(103)는 상기 이송학습모델을 통해 상기 부품에 대해 기존에 실시되었던 최종 이송 과정을 이송 계획에 반영할 수 있고, 기존에 이송한 적 없는 부품을 이송할 때에는 상기 부품과 가장 유사하고 기존 이송 이력이 있는 부품의 최종 이송 과정을 상기 부품의 이송 계획에 반영하여 결정할 수 있다.

본원의 일 실시예에 따르면, 단계 S290에서 발신부(105)는 픽앤플레이스 장치(140)가 이송 요청 정보의 수행을 완료하면 완료 정보를 사용자 단말(150)로 알리는 단계를 포함할 수 있다. 상기 완료 정보는 이송 소요 시간, 이송 완료 부품 개수 및 이송 실패 부품 개수를 포함할 수 있다.

상술한 설명에서, 단계 S210 내지 S290은 본원의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 픽앤플레이스 모니터링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 픽앤플레이스 모니터링 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

도 4는 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법의 제2카메라 센서(120)를 통해 획득한 부품의 이미지 정보를 분석하여 무게중심부를 판단하는 단계를 도시한 도면이다.

도 4를 참조하면, 본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치(100)의 수신부(101)는 사용자 단말(150)로부터 수신한 이송 요청 정보에 대응하는 부품을 제2카메라 센서(120)로 센싱하여 부품의 전체 형태의 이미지 정보를 획득하고, 판단부(102)는 상기 부품의 이미지 정보를 분석하여 무게중심부가 어디인지 판단하고, 픽앤플레이스 장치(140)가 상기 무게중심부를 잡을 수 있는 형태인지 판단하여 발신부(105)가 판단 정보를 사용자 단말(150)로 알릴 수 있다. 픽앤플레이스 장치(140)가 상기 부품의 무게중심부를 잡을 수 있다고 판단되면, 상기 부품에 대응하는 이송 요청 정보는 수락되어 이송이 진행되고, 픽앤플레이스 장치(140)가 상기 부품의 무게중심부를 잡을 수 없다고 판단되면, 상기 부품에 대응하는 이송 요청 정보는 수락되지 않고 발신부(105)가 사용자 단말(150)로 반환(발신)할 수 있다. 예를 들어, 사용자 단말(150)로부터 수신부(101)가 긴 막대 형태의 부품의 이송 요청 정보를 수신하면, 상기 이송 요청 정보에 대응하는 긴 막대 형태의 부품의 전체 형태를 제2카메라 센서(120)가 센싱하여 픽앤플레이스 모니터링 장치(100)의 수신부(101)가 상기 부품의 이미지 정보를 획득하고, 픽앤플레이스 모니터링 장치(100)의 판단부(102)가 상기 부품의 이미지 정보를 분석하여 무게중심부를 파악하고나서 픽앤플레이스 장치(140)가 상기 부품의 무게중심부를 잡을 수 있는지 판단하고, 상기 무게중심부가 잡힐 수 있다고 판단되면, 이송 절차를 진행하되, 발신부(105)가 사용자 단말(150)로 무게중심 위치 판단 절차의 결과와 그에 따라 픽앤플레이스 장치(140)가 잡을 수 있는지 여부에 대한 결과를 발신하여 사용자 단말(150)이 상기 결과를 디스플레이하도록 할 수 있다.

도 5는 본원의 일 실시예에 따른 픽앤플레이스 모니터링 방법의 무게 측정 센서(130)를 통해 부품의 무게를 측정하여 허용 가능한 무게인지 판단하는 단계를 도시한 도면이다.

도 5를 참조하면, 본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치(100)의 수신부(101)는 사용자 단말(150)로부터 수신한 이송 요청 정보에 대응하는 부품을 무게 측정 센서(130)로 센싱하여 상기 부품의 무게 정보를 획득하고, 판단부(102)는 상기 부품의 무게 정보를 분석하여 픽앤플레이스 장치(140)가 잡을 수 있는 무게인지 판단하고, 판단한 정보를 발신부(105)가 사용자 단말(150)로 알릴 수 있다. 예를 들어, 사용자 단말(150)로부터 수신한 이송 요청 정보에 대응하는 부품이 무게 측정 센서(130)를 통해 92kg으로 센싱되고 픽앤플레이스 장치(140)의 최대 허용 무게가 80kg이라고 가정할 때, 판단부(102)는 상기 부품이 이송되어질 수 없다고 판단하고, 상기 부품에 대응하는 이송 요청 정보를 허용 불가능한 것으로 판단하고, 발신부(105)는 무게에 근거한 이송 가능 불가에 대한 결과 및 이송 요청 정보에 대한 거절 결과를 사용자 단말(150)로 발신하고, 사용자 단말(150)은 상기 결과를 디스플레이하여 사용자가 확인하도록 할 수 있다.

본원의 일 실시예에 따르면, 허용 가능한 요청 정보는, 요청된 부품이 픽앤플레이스 장치(140)가 부품의 무게중심부를 잡을 수 있는 형태이고, 픽앤플레이스 장치(140)가 허용 가능한 무게 이하인 것일 수 있다. 사용자 단말(150)로부터 수신부(101)가 수신한 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하여 판단부(102)가 상기 이미지 정보 및 무게 정보를 기초로 상기 이송 요청 정보를 허용 가능한지 판단할 수 있다. 판단부(102)는 이송 요청 정보에 대응하는 부품의 이미지 정보를 기초로 상기 부품의 무게중심부를 파악하고, 픽앤플레이스 장치(140)가 상기 무게중심부를 잡을 수 있으면 상기 이송 요청 정보를 허용 가능한 요청 정보라고 판단할 수 있다. 또한, 판단부(102)는 이송 요청 정보에 대응하는 부품의 무게 정보를 기초로 픽앤플레이스 장치(140)가 상기 부품을 들 수 있으면 상기 이송 요청 정보를 허용 가능한 요청 정보라고 판단할 수 있다.

본원의 일 실시예에 따르면, 목적 위치 정보는, 사용자가 원하는 부품의 이송 위치이고, 픽앤플레이스 장치(140)가 이송할 수 있는 위치인 것일 수 있다. 일 예로, 목적 위치 정보는, 픽앤플레이스 장치(140)가 부품을 이송할 수 있는 위치 중 사용자가 원하는 부품의 이송 위치에 제일 근접한 위치인 것일 수 있다.

본원의 일 실시예에 따르면, 이미지 정보는 제2카메라 센서(120)를 이용하여 센싱한 것일 수 있다. 상기 이미지 정보는 부품의 전체 형태를 제2카메라 센서(120)가 촬영한 이미지일 수 있다. 또한 상기 이미지 정보는 판단부(102)가 무게중심부를 파악하고, 픽앤플레이스 장치(140)가 상기 무게중심부를 잡을 수 있는지 판단할 수 있는 이미지인 것일 수 있다. 판단부(102)가 부품의 무게중심부를 파악할 수 없거나 상기 부품의 무게중심부를 파악하여도 픽앤플레이스 장치(140)가 상기 무게중심부를 잡을 수 있는지 판단할 수 없으면 수신부(101)가 제2카메라 센서(120)를 통해 이미지 정보를 새로 획득할 수 있다.

본원의 일 실시예에 따르면, 무게 정보는, 무게 측정 센서(130)를 이용하여 센싱한 것일 수 있다. 상기 무게 정보는 무게 측정 센서(130)의 위에 위치한 부품의 무게를 수신부(101)가 무게 측정 센서(130)를 통해 센싱한 것일 수 있다. 판단부(102)는 상기 무게 정보에 기초하여 픽앤플레이스 장치(140)가 상기 부품을 들 수 있는지 판단할 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 부품의 무게중심부를 픽앤플레이스 장치(140)로 잡는 것을 포함하되, 무게중심부는 이미지 정보에 기초하여 판단되는 것일 수 있다. 결정부(103)는 픽앤플레이스 장치(140)가 부품의 판단부(102)에서 파악한 부품의 무게중심부를 잡는 것을 포함하는 이송 계획을 결정할 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 픽앤플레이스 장치(140)가 부품을 잡는 힘의 정도를 포함하고, 힘의 정도는 무게 정보에 기초하여 판단되는 것일 수 있다. 결정부(103)는 픽앤플레이스 장치(140)가 부품을 잡는 힘의 정도를 포함하는 이송 계획을 결정할 수 있다. 상기 힘의 정도는 판단부(102)가 수신부(101)에서 무게 측정 센서(130)를 통해 센싱한 부품의 무게 정보를 기초로 픽앤플레이스 장치(140)가 부품을 들 수 있다고 판단한 힘의 정도인 것일 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 목적 위치 정보까지의 부품의 이송 경로를 결정하는 것을 포함할 수 있다. 결정부(103)는 부품의 시작 위치부터 목적 위치 정보까지 이송 경로를 포함하는 이송 계획을 결정할 수 있다. 상기 이송 경로는 부품의 시작 위치부터 목적 위치 정보까지 최단 거리인 이송 경로를 포함할 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 부품이 이송 경로를 벗어나지 않도록 하는 속도의 상한 임계값을 포함하되, 임계값은 이미지 정보, 무게 정보 및 이송학습모델에 기초하여 결정되는 것일 수 있다. 판단부(102)는 상기 이미지 정보를 기초로 하여 부품의 무게중심부를 파악 후 픽앤플레이스 장치(140)가 상기 무게중심부를 잡을 수 있는지 판단할 수 있다. 또한 판단부(102)는 상기 무게 정보에 기초하여 픽앤플레이스 장치(140)가 부품에 어느 정도의 힘을 가해야 상기 부품을 들 수 있는지 판단할 수 있다. 그리고 판단부(102)는 상기 부품의 무게중심부를 픽앤플레이스 장치(140)가 잡고 이송한다는 가정 하에서 상기 부품이 이탈하지 않을 속도의 상한 임계값을 판단할 수 있다. 결정부(103)는 판단부(102)가 판단한 결과에 기초하여 상기 상한 임계값의 속도로 픽앤플레이스 장치(140)가 상기 부품을 이송시키는 것을 포함하는 이송 계획을 결정할 수 있다. 또한, 판단부(102)는 상기 이송학습모델을 기초로 하여 이송 요청 정보에 대응하는 부품이 기존에 이송한 적이 있는지 판단하고, 결정부(103)는 상기 판단부(102)의 판단 결과에 기초하여, 상기 부품이 이송한 적 있는 부품이면 이송학습모델에 학습된 최종 수행된 이송 계획을 그대로 포함하는 이송 계획을 결정할 수 있다. 상기 부품이 기존에 이송한 적 없는 부품이면, 판단부(102)는 상기 이송 계획 모델을 기초로 하여, 기존에 이송 계획이 수행되었던 부품들 중 상기 부품과 가장 유사한 형태 및 무게인 부품이 무엇인지 판단하고, 유사한 부품에 최종 수행되었던 이송 계획을 이송하고자 하는 부품의 성공적인 이송이 가능하도록 수정할 부분을 파악할 수 있다. 상기 수정할 부분은 픽앤플레이스 장치(140)가 상기 부품을 쥐는 힘의 정도, 상기 부품을 잡을 위치 및 상기 부품을 이송할 속도를 포함할 수 있다. 결정부(103)는 판단부(102)가 파악한 상기 수정할 부분을 반영한 이송 계획을 결정할 수 있다.

본원의 일 실시예에 따르면, 이송 계획은, 픽앤플레이스 장치(140)로 잡는 위치, 잡는 힘, 이동 속도 및 이송 경로를 고려하여 재결정 되는 것일 수 있다. 수신부(101)가 제1카메라 센서(110)를 통해 픽앤플레이스 장치(140)가 이송 중인 부품의 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 흔들림을 센싱하면, 판단부(102)는 상기 부품의 흔들림이 발생하지 않을 부품의 잡는 위치, 잡는 힘, 이동 속도 및 이송 경로를 재판단하고, 결정부(103)가 판단부(102)의 판단 결과에 기초하여 상기 잡는 위치, 잡는 힘, 이동 속도 및 이송 경로를 포함하는 이송 계획을 재결정할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 개략적인 구성을 간단히 살펴보기로 한다.

도 6은 본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치(100)의 개략적인 구성도이다.

도 6을 참조하면, 픽앤플레이스 모니터링 장치(100)는, 수신부(101), 판단부(102), 결정부(103), 제어부(104) 및 발신부(105)를 포함할 수 있다.

수신부(101)는 사용자 단말(150)로부터 이송 요청 정보를 수신할 수 있다. 이송 요청 정보는 픽앤플레이스 장치(140)를 통해 이송하고자 하는 부품의 이미지 정보, 무게 정보, 이송 수량, 출발지점 및 목적지점 등 부품의 이송에 관한 다양한 정보를 포함할 수 있다. 또한 이송 요청 정보에 포함된 부품의 이미지 정보 및 무게 정보와 별개로, 수신부(101)는 이송 요청 정보에 대응하는 부품의 형태의 이미지 정보 및 부품의 무게 정보를 각각 제2카메라 센서(120) 및 무게 측정 센서(130)로부터 수신할 수 있다. 제2카메라 센서(120)가 센싱한 이미지 정보는 부품의 전체적인 형태를 파악할 수 있는 단수 또는 복수의 이미지이거나 영상일 수 있다.

본원의 일 실시예에 따르면, 수신부(101)는 제1카메라 센서(110)가 픽앤플레이스 장치(140)에 의해 부품의 이송 과정이 수행되는 대상 공간을 센싱한 원본 영상을 획득할 수 있다. 본원의 일 실시예에 관한 설명에서 부품은 산업용 로봇을 제작하기 위해 사용되는 부품일 수 있다. 상기 부품은 센서 같이 소형 및 경량의 부품부터 기계적 하드웨어 구성을 담당하는 부품 같이 대형 및 중량의 부품까지 다양한 부품일 수 있다.

또한, 본원의 일 실시예에 따르면, 픽앤플레이스 장치(140)에 의해 수행되는 이송 과정은 통상적인 핑거식(공압식) 그립에 의한 이송 과정일 수 있으나, 이에만 한정되는 것은 아니다. 이때, 이송 과정을 수행하는 픽앤플레이스 장치(140)는 흡착식 그리퍼를 구비한 장치를 지칭하는 것일 수 있다. 다만, 이에만 한정되는 것은 아니며, 본원의 실시예에 관한 설명에서 픽앤플레이스 장치(140)는 병렬 2핑거식 그리퍼, 와이드 스트로크 2핑거식 그리퍼, 3핑거식 그리퍼, 전기 진공 그리퍼, 소프트 그리퍼 및 전자기 그리퍼 등 다양한 유형의 그리퍼를 포함할 수 있다.

또한, 수신부(101)는 제2카메라 센서(120)가 센싱한 부품의 전체 형태의 이미지 정보를 수신할 수 있다. 그리고 수신부(101)는 무게 측정 센서(130)가 센싱한 부품의 무게 정보를 수신할 수 있다. 본원의 일 실시예에 따르면, 수신부(101)는 픽앤플레이스 모니터링 장치(100)에 탑재되거나 네트워크(200)로 연결되는 각종 센서(예를 들면, 온도센서, 진동센서, 회전센서, 압력센서, 변위센서, 가속도 센서 등)에 의해 센싱되는 다양한 유형의 센싱 정보를 수신할 수 있으며, 이러한 센싱 정보는 픽앤플레이스 장치(140)가 이송 과정을 수행하는 시간 구간과 해당 이송 과정을 미수행하는 시간 구간에서 패턴(예를 들면, 속도, 각속도, 기울기 등)이 서로 구분되는 특성을 가지는 정보일 수 있다.

보다 구체적으로, 본원의 일 실시예에 따르면, 수신부(101)가 수신하는 센싱 정보는 픽앤플레이스 모니터링 장치(100)와 네트워크(200)로 연결된 센서 중 적어도 하나에 의해 획득된 신호에 대한 시계열 데이터를 의미하는 것일 수 있다.

이와 관련하여, 본원의 일 실시예에 따르면, 픽앤플레이스 모니터링 장치(100)는 시계열적으로 획득되는 센싱 정보를 미리 설정된 모니터링 단위(예를 들면, 소정의 초 단위의 시간 구간 등)로 분할하고, 분할된 센싱 정보 각각에 대응하는 패턴에 따라 픽앤플레이스 장치(140)가 이송 과정을 수행하는 구간 및 이송 과정을 미수행하는 구간을 식별할 수 있다.

본원의 일 실시예에 따르면, 픽앤플레이스 모니터링 장치(100)는 영상 가공부(미도시)를 더 포함하고, 영상 가공부(미도시)는 센싱 정보에 기초하여 원본 영상에 포함된 복수의 프레임 중 적어도 일부의 프레임을 선택적으로 스킵하여 원본 영상을 압축한 이송 영상을 생성할 수 있다.

보다 구체적으로, 본원의 일 실시예에 따르면, 영상 가공부(미도시)는 시계열 데이터에 대한 분석을 통해 픽앤플레이스 장치(140)가 이송 과정을 수행하는 시간 구간에 대응되는 프레임 외의 프레임을 미리 설정된 프레임 간격으로 스킵하는 방식으로 압축된 이송 영상을 생성할 수 있다.

달리 말해, 픽앤플레이스 모니터링 장치(100)는 대상 공간을 촬영한 원본 영상을 그대로 저장하는 것이 아니라, 픽앤플레이스 장치(140)에 의해 이송 과정이 수행된 시간 구간에 대한 원본 영상은 원본 상태로 유지하고, 이송 과정이 미수행된 시간 구간에 대하여는 원본 영상을 선택적으로 압축하여 이송 영상을 생성함으로써, 이송 영상의 저장 용량을 줄이고, 작업자 또는 관리자가 이송 영상을 시청할 경우, 픽앤플레이스 장치(140)가 이송 과정을 수행한 시간대에 촬영된 영상 구간만을 선택적으로 시청할 수 있도록 하여 대상 공간에서 이루어지는 작업에 대한 모니터링을 효율적으로 수행하도록 한 것이다.

또한, 본원의 일 실시예에 따르면, 영상 가공부(미도시)는 센싱 정보에 기초하여 파악된 픽앤플레이스 장치(140)의 이송 과정 미수행 시간에 대하여, N개의 프레임씩 프레임을 스킵(생략)하도록 원본 영상을 압축할 수 있다. 예시적으로, 이송 영상의 생성을 위한 프레임 스킵 수준(달리 말해, N값)은 픽앤플레이스 장치(140)의 유형, 원본 영상의 길이, 센싱 정보의 이상 유무 등에 기초하여 다양한 값으로 결정될 수 있다.

예시적으로, 픽앤플레이스 장치(140)에 의한 이송 과정에 소정의 이상이 발생한 것으로 탐색된 시간대에 근접한 시간대일수록 프레임 스킵 수준이 완화(달리 말해, N값이 작아지는 것)되고, 반대로 이상이 탐색된 시간대와 멀리 떨어진 시간대일수록 프레임 스킵 수준이 강화(달리 말해, N값이 커지는 것)되는 방식으로 프레임 스킵 수준이 필요에 따라 가변되는 것일 수 있다.

또한, 영상 가공부(미도시)는 픽앤플레이스 장치(140)가 이송 과정을 수행하는 시간 구간에 대응되는 복수의 프레임에 대하여 부품에 대한 식별 정보를 복수의 프레임에 대한 주석으로 삽입할 수 있다.

예를 들어, 픽앤플레이스 장치(140)가 이송하는 각각의 부품에 대하여 식별 정보가 할당되는 것으로 가정할 때, 영상 가공부(미도시)는 특정 부품에 대한 이송 과정을 촬영한 영상 구간에 대하여 해당 부품에 대한 식별 정보를 포함하는 주석을 삽입할 수 있다. 예시적으로, 식별 정보는 문자, 텍스트, 이미지, 음성 등의 다양한 포맷으로 부여되는 것일 수 있다.

이와 관련하여, 각각의 부품이 픽앤플레이스 장치(140)에 의해 이송되는 영상 구간이 부품에 대하여 부여(할당)된 식별 정보에 기초하여 이송 영상으로부터 특정될 수 있으므로, 작업자 또는 관리자가 부품의 이송이 잘못 수행된 이송 과정에 대한 원인을 분석하기 위해 해당 부품에 대한 이송 과정이 수행된 영상을 확인하는 등의 작업이 손쉽게 이루어질 수 있다.

판단부(102)는 사용자 단말(150)로부터 수신된 이송 요청 정보가 허용 가능한지 판단하고, 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 발신부(105)가 상기 사용자 단말(150)로 반환(발신)할 수 있다. 상기 허용 가능한 요청 정보는 판단부(102)에 의해 획득한 부품의 이미지 정보, 획득한 부품의 무게 정보, 이송 요청 정보에 포함된 부품의 희망 시작 위치 정보 및 희망 목적 위치 정보 중 적어도 하나를 기초로 판단된 것일 수 있다. 판단부(102)가 상기 이미지 정보를 기초로 부품의 무게중심부를 파악하고, 상기 무게중심부를 픽앤플레이스 장치(140)가 잡을 수 있다고 판단해야 해당 이송 요청 정보가 허용 가능한 요청 정보인 것일 수 있다. 반대로, 판단부(102)가 상기 이미지 정보를 기초로 상기 부품의 무게중심부를 파악하고, 상기 무게중심부를 픽앤플레이스 장치(140)가 잡을 수 없다고 판단하면, 해당 이송 요청 정보를 수락하지 않고 발신부(105)가 사용자 단말(150)로 반환(발신)할 수 있다. 또한, 판단부(102)가 상기 무게 정보를 기초로 상기 부품이 픽앤플레이스 장치(140)가 이송할 수 있는 무게라고 판단하면, 해당 이송 요청 정보가 허용 가능한 요청 정보인 것일 수 있다. 반대로, 판단부(102)가 상기 무게 정보를 기초로 상기 부품이 픽앤플레이스 장치(140)가 이송할 수 없는 무게라고 판단하면, 해당 이송 요청 정보를 수락하지 않고 발신부(105)가 사용자 단말(150)로 반환(발신)할 수 있다. 그리고, 상기 이송 요청 정보에 포함된 상기 희망 출발 위치 정보 및 상기 희망 목적 위치 정보가 픽앤플레이스 장치(140)가 잡을 수 있는 반경 내에 있으면 판단부(102)가 상기 이송 요청 정보를 허용 가능한 요청 정보라고 판단하고 요청 수락할 수 있다. 반대로, 상기 희망 시작 위치 정보 및 상기 희망 목적 위치 정보가 픽앤플레이스 장치(140)가 잡을 수 있는 반경 내에 없으면, 판단부(102)가 해당 이송 요청 정보가 허용 불가능한 요청 정보라고 판단하고, 발신부(105)가 사용자 단말(150)로 상기 허용 불가능한 이송 요청 정보를 반환(발신)할 수 있다.

결정부(103)는 수락된 이송 요청 정보에 기초하여 이송 계획의 시작 위치 정보 및 목적 위치 정보를 결정할 수 있다. 상기 시작 위치 정보 및 상기 목적 위치 정보는 부품을 안전하게 놓을 수 있는 위치를 포함할 수 있다. 상기 부품의 시작 위치 정보 및 목적 위치 정보는 픽앤플레이스 장치(140)가 잡을 수 있는 위치인 것일 수 있다. 그리고 상기 부품의 시작 위치 정보 및 목적 위치 정보는 각각 상기 이송 요청 정보에 포함된 희망 시작 위치 정보 및 희망 목적 위치 정보인 것일 수 있다. 결정부(103)는 결정된 시작 위치 정보, 목적 위치 정보, 상기 이미지 정보 및 상기 무게 정보 중 적어도 하나 및 이송학습모델을 기초로 이송 계획을 결정할 수 있다. 결정부(103)는 목적 위치 정보를 기초로 이송 전 부품이 위치한 시작 지점에서 픽앤플레이스 장치(140)가 이송할 수 있는 어느 위치로 물품을 이송할 것인지에 관한 이송 계획을 결정할 수 있다. 또한, 결정부(103)는 판단부(102)에서 상기 이미지 정보를 기초로 상기 부품의 무게중심부 이송 시 상기 무게중심부를 잡는다는 이송 계획을 결정할 수 있다. 그리고 결정부(103)는 상기 무게 정보를 기초로 이송 시 상기 부품을 어느 정도의 힘으로 잡을 것인지에 관한 이송 계획을 결정할 수 있다. 상기 이송학습모델은 인공지능을 활용하여 부품을 성공적으로 이송했던 최종 이송 과정을 학습시킨 것일 수 있다.

제어부(104)는 이송 계획에 따라 픽앤플레이스 장치(140)를 제어할 수 있다. 제어부(104)는 이송 계획에 따라 픽앤플레이스 장치(140)가 부품의 어느 부위를 어느 정도의 힘으로 쥐고, 현재 부품의 위치에서 어느 위치까지 어떤 경로를 선택하여 어느 정도의 속도로 이송하도록 픽앤플레이스 장치(140)를 제어할 수 있다.

발신부(105)는 픽앤플레이스 장치(140)가 이송 요청 정보의 수행을 완료하면 완료 정보를 사용자 단말(150)로 알릴 수 있다. 상기 완료 정보는 이송 소요 시간, 이송 완료 부품 개수 및 이송 실패 부품 개수를 포함할 수 있다. 발신부(105)는 수락하지 않은 이송 요청 정보를 사용자 단말(150)로 반환(발신)할 수 있다. 발신부(105)는 사용자 단말(150)로 무게중심 위치 판단 절차의 결과와 그에 따라 픽앤플레이스 장치(140)가 잡을 수 있는지 여부에 대한 결과를 발신할 수 있다. 발신부(105)는 무게에 근거한 이송 가능 불가에 대한 결과 및 이송 요청 정보에 대한 거절 결과를 사용자 단말(150)로 발신할 수 있다.

본원의 일 실시예에 따른 픽앤플레이스 모니터링 장치(100)는 사용자 단말(150)로부터 이송 요청 정보를 수신하고, 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하는 수신부(101); 사용자 단말(150)로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 사용자 단말(150)로 반환하는 판단부(102); 수락된 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하고, 결정된 목적 위치 정보, 이미지 정보 및 무게 정보 또는 이송학습모델을 기초로 이송 계획을 결정하는 결정부(103); 이송 계획에 따라 픽앤플레이스 장치(140)를 제어하는 제어부(104); 수락하지 않은 요청 정보는 사용자 단말(150)로 반환하고, 이송 요청 정보를 완료하면 이송 완료 정보를 사용자 단말(150)로 알리는 발신부(105)를 포함하되, 결정부(103)는 제1카메라 센서(110)를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 이송 계획을 수정 후 재적용하는 것이고, 판단부(102)는 이송 과정의 완료 후 이송학습모델에 상기 부품에 대해 실시된 최종 이승 과정을 학습시키는 것일 수 있다.

본원의 일 실시예에 따른 픽앤플레이스 모니터링 시스템(1)은 이송 요청 정보를 픽앤플레이스 모니터링 장치(100)로 발신하고, 이송 완료 정보를 픽앤플레이스 모니터링 장치(100)로부터 수신하는 사용자 단말(150); 사용자 단말(150)로부터 이송 요청 정보를 수신하고, 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하고, 사용자 단말(150)로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 사용자 단말(150)로 반환하고, 수락된 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하고, 결정된 목적 위치 정보, 이미지 정보 및 무게 정보 또는 이송학습모델을 기초로 이송 계획을 결정하고, 이송 계획에 따라 픽앤플레이스 장치(140)를 제어하고, 제1카메라 센서(110)를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 이송 계획을 수정 후 재적용하고, 이송 과정의 완료 후 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키고, 이송 요청 정보를 완료하면 완료 정보를 사용자 단말(150)로 알리는 픽앤플레이스 모니터링 장치(100)를 포함할 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

1: 픽앤플레이스 모니터링 시스템
100: 픽앤플레이스 모니터링 장치
101: 수신부 102: 판단부
103: 결정부 104: 제어부
105: 발신부
110: 제1카메라 센서 120: 제2카메라 센서
130: 무게 측정 센서 140: 픽앤플레이스 장치
150: 사용자 단말
200: 네트워크

Claims (13)

1. 픽앤플레이스 모니터링 방법에 있어서,
   사용자 단말로부터 이송 요청 정보를 수신하는 단계;
   상기 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하는 단계;
   사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 상기 사용자 단말로 반환하는 단계;
   수락된 상기 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하는 단계;
   상기 결정된 목적 위치 정보, 상기 이미지 정보, 상기 무게 정보 및 이송학습모델을 기초로 이송 계획을 결정하는 단계;
   상기 이송 계획에 따라 픽앤플레이스 장치를 제어하는 단계;
   제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 상기 이송 계획을 수정 후 재적용하는 단계;
   상기 이송 과정의 완료 후 상기 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키는 단계; 및
   상기 이송 요청 정보를 완료하면 완료 정보를 사용자 단말로 알리는 단계;
   를 포함하되,
   상기 허용 가능한 요청 정보는,
   요청된 부품이 픽앤플레이스 장치가 상기 부품의 무게중심부를 잡을 수 있는 형태이고, 상기 픽앤플레이스 장치가 허용 가능한 무게 이하이고,
   상기 이미지 정보는,
   제2카메라 센서를 이용하여 센싱한 것이고,
   상기 무게 정보는,
   무게 측정 센서를 이용하여 센싱한 것이고,
   상기 반환하는 단계는,
   상기 제2카메라 센서를 통해 센싱한 부품의 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 상기 제2카메라 센서를 통해 상기 부품의 이미지를 다시 센싱하여 상기 부품의 2차 이미지 정보를 획득하고, 상기 2차 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 사용자 단말로 무게중심 판단 불가 알림을 발신하고, 상기 무게 측정 센서를 통해 센싱한 부품의 무게 정보를 기초로 상기 픽앤플레이스 장치가 상기 부품을 들 수 있는지 판단할 수 없으면, 상기 부품의 무게 정보를 다시 센싱하여 상기 부품의 2차 무게 정보를 획득하고, 상기 2차 무게 정보를 기초로 상기 픽앤플레이스 장치가 상기 부품을 들 수 있는지 판단할 수 없으면, 상기 사용자 단말로 이송 무게 판단 불가 알림을 발신하는 것을 특징으로 하고,
   상기 이송 계획은,
   이송 전 부품이 위치한 시작 위치 정보부터 상기 목적 위치 정보까지 최단 거리인 상기 부품의 이송 경로를 결정하는 것을 포함하고,
   상기 이송학습모델은,
   부품을 성공적으로 이송했던 최종 이송 과정을 학습시킨 인공지능 모델로서, 의사 결정 알고리즘에 기초하여 부품 별 이송의 성공률이 기 설정된 정도 이상인 이송 계획을 파악하고, 이송하고자 하는 부품의 특징을 파악하여 상기 이송하고자 하는 부품에 있어서 이송의 성공률이 기 설정된 정도 이상인 이송 계획에 관한 정보를 생성하고,
   상기 이송 계획을 결정하는 단계는,
   기존에 이송한 이력이 있는 부품을 이송할 경우, 상기 이송학습모델을 기초로 상기 기존에 이송한 이력이 있는 부품의 최종 이송 과정을 이송 계획에 반영하여 결정하고, 기존에 이송한 이력이 없는 부품을 이송할 경우, 상기 이송학습모델을 기초로 기존 이송 이력이 있는 부품 중 상기 기존에 이송한 이력이 없는 부품과 가장 유사한 형태 및 무게인 부품의 최종 이송 과정을 도출하고, 상기 기존에 이송한 이력이 없는 부품과 가장 유사한 형태 및 무게인 부품의 최종 이송 과정에 대응하는 이송 계획을 수정하고, 수정된 상기 이송 계획을 상기 이송하고자 하는 부품의 이송 계획에 반영하여 결정하는 것을 특징으로 하는,
   픽앤플레이스 모니터링 방법.
2. 삭제
3. 제1항에 있어서,
   상기 목적 위치 정보는,
   사용자가 원하는 상기 부품의 이송 위치이고, 상기 픽앤플레이스 장치가 이송할 수 있는 위치인 것인,
   픽앤플레이스 모니터링 방법.
4. 삭제
5. 삭제
6. 제3항에 있어서,
   상기 이송 계획은,
   상기 부품의 무게중심부를 상기 픽앤플레이스 장치로 잡는 것을 포함하되,
   상기 무게중심부는 상기 이미지 정보에 기초하여 판단되는 것인,
   픽앤플레이스 모니터링 방법.
7. 제6항에 있어서,
   상기 이송 계획은,
   상기 픽앤플레이스 장치가 상기 부품을 잡는 힘의 정도를 포함하고,
   상기 힘의 정도는 상기 무게 정보에 기초하여 판단되는 것인,
   픽앤플레이스 모니터링 방법.
8. 삭제
9. 제7항에 있어서,
   상기 이송 계획은,
   상기 부품이 상기 이송 경로를 벗어나지 않도록 하는 속도의 상한 임계값을 포함하되,
   상기 임계값은 상기 이미지 정보, 상기 무게 정보 및 상기 이송학습모델에 기초하여 결정되는 것인,
   픽앤플레이스 모니터링 방법.
10. 제9항에 있어서,
    상기 이송 계획은,
    상기 픽앤플레이스 장치로 잡는 위치, 잡는 힘, 이동 속도 및 이송 경로를 고려하여 재결정되는 것인,
    픽앤플레이스 모니터링 방법.
11. 픽앤플레이스 모니터링 장치에 있어서,
    사용자 단말로부터 이송 요청 정보를 수신하고, 상기 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하는 수신부;
    사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 상기 사용자 단말로 반환하는 판단부;
    수락된 상기 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하고, 상기 결정된 목적 위치 정보, 상기 이미지 정보, 상기 무게 정보 및 이송학습모델을 기초로 이송 계획을 결정하는 결정부;
    상기 이송 계획에 따라 픽앤플레이스 장치를 제어하는 제어부;
    수락하지 않은 요청 정보는 상기 사용자 단말로 반환하고, 상기 이송 요청 정보를 완료하면 이송 완료 정보를 사용자 단말로 알리는 발신부,
    를 포함하되,
    상기 결정부는,
    제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 상기 이송 계획을 수정 후 재적용 하는 것이고,
    상기 판단부는,
    상기 이송 과정의 완료 후 상기 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키고,
    상기 허용 가능한 요청 정보는,
    요청된 부품이 픽앤플레이스 장치가 상기 부품의 무게중심부를 잡을 수 있는 형태이고, 상기 픽앤플레이스 장치가 허용 가능한 무게 이하이고,
    상기 이미지 정보는,
    제2카메라 센서를 이용하여 센싱한 것이고,
    상기 무게 정보는,
    무게 측정 센서를 이용하여 센싱한 것이고,
    상기 판단부는,
    상기 제2카메라 센서를 통해 센싱한 부품의 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 상기 제2카메라 센서를 통해 상기 부품의 이미지를 다시 센싱하여 상기 부품의 2차 이미지 정보를 획득하고, 상기 2차 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 사용자 단말로 무게중심 판단 불가 알림을 발신하고, 상기 무게 측정 센서를 통해 센싱한 부품의 무게 정보를 기초로 상기 픽앤플레이스 장치가 상기 부품을 들 수 있는지 판단할 수 없으면, 상기 부품의 무게 정보를 다시 센싱하여 상기 부품의 2차 무게 정보를 획득하고, 상기 2차 무게 정보를 기초로 상기 픽앤플레이스 장치가 상기 부품을 들 수 있는지 판단할 수 없으면, 상기 사용자 단말로 이송 무게 판단 불가 알림을 발신하고,
    상기 이송 계획은,
    이송 전 부품이 위치한 시작 위치 정보부터 상기 목적 위치 정보까지 최단 거리인 상기 부품의 이송 경로를 결정하는 것을 포함하고,
    상기 이송학습모델은,
    부품을 성공적으로 이송했던 최종 이송 과정을 학습시킨 인공지능 모델로서, 의사 결정 알고리즘에 기초하여 부품 별 이송의 성공률이 기 설정된 정도 이상인 이송 계획을 파악하고, 이송하고자 하는 부품의 특징을 파악하여 상기 이송하고자 하는 부품에 있어서 이송의 성공률이 기 설정된 정도 이상인 이송 계획에 관한 정보를 생성하고,
    상기 결정부는,
    기존에 이송한 이력이 있는 부품을 이송할 경우, 상기 이송학습모델을 기초로 상기 기존에 이송한 이력이 있는 부품의 최종 이송 과정을 이송 계획에 반영하여 결정하고, 기존에 이송한 이력이 없는 부품을 이송할 경우, 상기 이송학습모델을 기초로 기존 이송 이력이 있는 부품 중 상기 기존에 이송한 이력이 없는 부품과 가장 유사한 형태 및 무게인 부품의 최종 이송 과정을 도출하고, 상기 기존에 이송한 이력이 없는 부품과 가장 유사한 형태 및 무게인 부품의 최종 이송 과정에 대응하는 이송 계획을 수정하고, 수정된 상기 이송 계획을 상기 이송하고자 하는 부품의 이송 계획에 반영하여 결정하는 것인,
    픽앤플레이스 모니터링 장치.
12. 픽앤플레이스 모니터링 시스템에 있어서,
    이송 요청 정보를 픽앤플레이스 모니터링 장치로 발신하고, 이송 완료 정보를 상기 픽앤플레이스 모니터링 장치로부터 수신하는 사용자 단말;
    사용자 단말로부터 이송 요청 정보를 수신하고, 상기 이송 요청 정보에 대응하는 부품의 이미지 정보 및 무게 정보를 획득하고, 상기 사용자 단말로부터 수신된 요청 정보 중 허용 가능한 요청 정보만을 수락하고, 수락하지 않은 요청 정보는 상기 사용자 단말로 반환하고, 수락된 상기 요청 정보에 기초하여 부품의 목적 위치 정보를 결정하고, 상기 결정된 목적 위치 정보, 상기 이미지 정보, 상기 무게 정보 및 이송학습모델을 기초로 이송 계획을 결정하고, 상기 이송 계획에 따라 픽앤플레이스 장치를 제어하고, 제1카메라 센서를 통해 이송 과정을 실시간 관측하면서 x축, y축, z축 상의 흔들림 또는 롤, 피치, 요의 일정 이상의 흔들림을 파악하면 상기 이송 계획을 수정 후 재적용하고, 상기 이송 과정의 완료 후 상기 이송학습모델에 상기 부품에 대해 실시된 최종 이송 과정을 학습시키고, 상기 이송 요청 정보를 완료하면 완료 정보를 사용자 단말로 알리는 픽앤플레이스 모니터링 장치,
    를 포함하되,
    상기 허용 가능한 요청 정보는,
    요청된 부품이 픽앤플레이스 장치가 상기 부품의 무게중심부를 잡을 수 있는 형태이고, 상기 픽앤플레이스 장치가 허용 가능한 무게 이하이고,
    상기 이미지 정보는,
    제2카메라 센서를 이용하여 센싱한 것이고,
    상기 무게 정보는,
    무게 측정 센서를 이용하여 센싱한 것이고,
    상기 픽앤플레이스 모니터링 장치는,
    상기 제2카메라 센서를 통해 센싱한 부품의 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 상기 제2카메라 센서를 통해 상기 부품의 이미지를 다시 센싱하여 상기 부품의 2차 이미지 정보를 획득하고, 상기 2차 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 사용자 단말로 무게중심 판단 불가 알림을 발신하고, 상기 무게 측정 센서를 통해 센싱한 부품의 무게 정보를 기초로 상기 픽앤플레이스 장치가 상기 부품을 들 수 있는지 판단할 수 없으면, 상기 부품의 무게 정보를 다시 센싱하여 상기 부품의 2차 무게 정보를 획득하고, 상기 2차 무게 정보를 기초로 상기 픽앤플레이스 장치가 상기 부품을 들 수 있는지 판단할 수 없으면, 상기 사용자 단말로 이송 무게 판단 불가 알림을 발신하고,
    상기 사용자 단말은,
    상기 픽앤플레이스 장치가 상기 2차 이미지 정보를 기초로 무게중심부의 위치를 판단할 수 없으면, 상기 픽앤플레이스 장치로부터 무게중심 판단 불가 알림을 수신하고, 상기 픽앤플레이스 장치가 상기 2차 무게 정보를 기초로 상기 부품을 들 수 있는지 판단할 수 없으면, 상기 픽앤플레이스 장치로부터 이송 무게 판단 불가 알림을 수신하고,
    상기 이송 계획은,
    이송 전 부품이 위치한 시작 위치 정보부터 상기 목적 위치 정보까지 최단 거리인 상기 부품의 이송 경로를 결정하는 것을 포함하고,
    상기 이송학습모델은,
    부품을 성공적으로 이송했던 최종 이송 과정을 학습시킨 인공지능 모델로서, 의사 결정 알고리즘에 기초하여 부품 별 이송의 성공률이 기 설정된 정도 이상인 이송 계획을 파악하고, 이송하고자 하는 부품의 특징을 파악하여 상기 이송하고자 하는 부품에 있어서 이송의 성공률이 기 설정된 정도 이상인 이송 계획에 관한 정보를 생성하고,
    상기 픽앤플레이스 모니터링 장치는,
    기존에 이송한 이력이 있는 부품을 이송할 경우, 상기 이송학습모델을 기초로 상기 기존에 이송한 이력이 있는 부품의 최종 이송 과정을 이송 계획에 반영하여 결정하고, 기존에 이송한 이력이 없는 부품을 이송할 경우, 상기 이송학습모델을 기초로 기존 이송 이력이 있는 부품 중 상기 기존에 이송한 이력이 없는 부품과 가장 유사한 형태 및 무게인 부품의 최종 이송 과정을 도출하고, 상기 기존에 이송한 이력이 없는 부품과 가장 유사한 형태 및 무게인 부품의 최종 이송 과정에 대응하는 이송 계획을 수정하고, 수정된 상기 이송 계획을 상기 이송하고자 하는 부품의 이송 계획에 반영하여 결정하는 것인,
    픽앤플레이스 모니터링 시스템.
13. 제1항, 제3항, 제6항, 제7항, 제9항 및 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images