KR20230015145A - 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법 - Google Patents

에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법 Download PDF

Info

Publication number
KR20230015145A
KR20230015145A KR1020210096538A KR20210096538A KR20230015145A KR 20230015145 A KR20230015145 A KR 20230015145A KR 1020210096538 A KR1020210096538 A KR 1020210096538A KR 20210096538 A KR20210096538 A KR 20210096538A KR 20230015145 A KR20230015145 A KR 20230015145A
Authority
KR
South Korea
Prior art keywords
cloud
robot
server
robots
model
Prior art date
Application number
KR1020210096538A
Other languages
English (en)
Inventor
구세완
김영재
백승민
양현석
강성규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020210096538A priority Critical patent/KR20230015145A/ko
Priority to PCT/KR2022/009756 priority patent/WO2023003226A1/ko
Publication of KR20230015145A publication Critical patent/KR20230015145A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 임의적으로 분할되어 있는 복수의 공간에 배치되어 있는 복수의 로봇; 상기 복수의 로봇에 적용 가능한 제어 모델을 생성하고, 배포하는 클라우드 서버; 및 각각의 공간에 할당되며, 상기 클라우드 서버와 송수신하며, 상기 제어 모델을 수신하여 상기 공간의 복수의 로봇을 제어하는 복수의 에지 서버를 포함하며, 상기 클라우드 서버는 상기 복수의 로봇으로부터 실시간으로 에러값을 수신하고, 상기 에러값에 기초하여 업그레이드된 제어 모델을 생성하여 상기 에지 서버에 전송하는 것을 특징으로 하는 클라우드 기반 로봇 시스템을 제공한다. 따라서, 본 발명은 이종 로봇의 제어를 위한 딥러닝 모델을 에지 서버 사이에서 공유하여 효율적인 지능 증강을 수행할 수 있다. 또한, 각각의 로봇이 배치된 로컬 환경의 딥러닝 모델을 각각 갱신함으로써 각 로컬 환경에 최적화된 서비스를 증강할 수 있다.

Description

에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법{Different typed robot system having edge server and cloud server and control method thereof }
본 발명은 이종의 로봇을 제어하는 복수의 에지 서버와 송수신을 수행하는 클라우드 서버를 포함하는 로봇 시스템을 제공한다. 구체적으로, 본 발명은 베이스 모델을 제공하는 클라우드 서버와 로봇 사이의 통신을 활용하는 이종 로봇 시스템의 제어 방법에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 인공지능 로봇이라고 한다.
로봇 이용의 증가에 따라, 단순 기능의 반복 수행을 넘어서 다양한 정보, 재미, 서비스를 제공할 수 있는 로봇에 대한 요구가 많아지고 있다.
이에 따라, 가정, 식당, 매장, 공공 장소 등에 배치되어 사람에게 편의를 제공하는 다양한 로봇이 개발되고 있다.
또한, 규정되어 있는 하나의 공간에 서로 다른 종류의 로봇이 배치되어 각각의 직무를 수행하는 이종 로봇 시스템이 개발되고 있다.
이와 같은 이종 로봇 시스템은 정보통신기술(ICT, Information and Communication Technologies)과 기존의 서비스업의 융합으로 정의될 수 있다.
예를 들어, 이종 로봇 시스템은 사물인터넷(Internet of Things), 빅데이터(Big data), 클라우드 컴퓨팅(Cloud computing) 및 CPS(Cyber-Physical System) 등의 기술을 기반으로 해당 공간의 다양한 이벤트에 대하여 처리 및 소통의 체계로 정의된다.
클라우드 컴퓨팅은 인터넷 기술을 활용하여 가상화된 정보통신기술 자원을 서비스로 제공한다.
사용자는 클라우드 컴퓨팅을 통해 정보통신기술의 자원(예를 들어, 서버, 스토리지, 네트워크 및 소프트웨어 등)을 필요에 따라 사용할 수 있다.
또한, 사용자는 클라우드 컴퓨팅을 통해 제공되는 서비스의 부하에 따라 실시간으로 서비스 확장성을 지원받을 수 있고, 서비스의 제공에 대하여 비용을 지불한다.
클라우드 컴퓨팅을 통해 클라우드 서버가 수많은 이종 로봇에 대한 제어를 수행하는 경우, 제어 또는 통신의 편의를 위해 각 공간에 대하여 에지 서버를 더 포함할 수 있다.
이와 같이 복수의 로봇을 근거리에서 제어하는 에지 서버 및 복수의 에지 서버와 송수신하는 클라우드 서버를 포함하는 로봇 시스템이 개발되어 왔다.
이러한 로봇 시스템은 클라우드 서버, 에지 서버 및 로봇 사이에 매우 많은 데이터 트래픽이 발생한다.
한국 공개특허 2019-0119225 호의 경우, 로봇이 자신의 제1 인공지능을 훈련하고, 클라우드 네트워크를 활용하여 메인 관리 서버의 제2 인공지능을 이용하여 분석한 제2 분석결과 데이터에 기초하여 제1 인공지능을 다시 훈련하는 기술이 개시되어 있다. 그러나, 클라우드 네트워크를 활용한 메인 관리 서버와 로봇 사이의 머신 러닝의 경우, 서로 다른 로봇 사이에 해당 지식을 공유하여 학습시킬 수 없는 단점이 있다.
또한, 한국 등록특허 10-2044665 호의 경우, 로봇 시스템은 제1 로봇 시스템으로부터 요청받은 작업을 수행하기 위해 제2 로봇 시스템에 의해 이전에 사용된 절차에 기초하여 제1 로봇 시스템이 해당 작업을 수행하기 위한 명령어를 생성하는 것이 개시되어 있다.
그러나, 이와 같은 시스템은 클라우드를 통해 서로 다른 로봇에 의해 수집/이용된 정보를 공유할 뿐, 이종 로컬 환경으로부터 특정 로컬 환경에 따라 요구되는 정보를 선별적으로 공유받아 가공하기 어렵다.
한편, 한국 등록특허 10-1692602호에서는 클라우드 서버가 제1 로봇으로부터 수신받은 정보요청에 부합되는 측정값을 제2 로봇으로부터 수신받아 제1 로봇으로 전송하거나, 수신받은 측정값에 기초하여 제1 로봇을 제어하기 위한 제어신호를 제1로봇으로 전송하는 것이 개시되어 있다.
그러나, 이와 같은 경우, 클라우드를 통해 서로 다른 로봇에 의해 수집/이용된 정보를 공유할 뿐, 이종 로컬 환경으로부터 특정 로컬 환경에 따라 요구되는 정보를 선별적으로 공유받아 증강시키거나 학습시킬 수 없는 단점이 있다.
한국 공개특허 2019-0119225 호, 공개일자 2019년 10월 22일 한국 등록특허 10-2044665 호, 공개일자 2019년 02월 12일 한국 공개특허 10-1692602 호, 공개일자 2016년 07월 21일
본 발명의 제1 과제는 이산되어 있는 복수의 이종 로봇의 제어를 위한 딥러닝 모델을 에지 서버 사이에 공유하여 효율적인 지능 증강을 위한 서비스를 제공하는 것이다.
본 발명의 제2 과제는 각각의 로봇이 배치된 로컬 환경의 딥러닝 모델을 각각 업그레이드함으로써 각 로컬 환경에 최적화된 서비스로 증강할 수 있는 로봇 시스템을 제공하는 것이다.
또한, 본 발명의 제3 과제는 클라우드 서버에서 각 로봇을 통해 각 로컬 환경을 모니터링하여 신규 기능이 필요한 로컬 환경을 도출하고, 기존의 베이스 모델에 신규 기능에 관한 학습 모델을 추가하여 제공할 수 있는 로봇 시스템을 제공하는 것이다.
본 발명은 임의적으로 분할되어 있는 복수의 공간에 배치되어 있는 복수의 로봇; 상기 복수의 로봇에 적용 가능한 제어 모델을 생성하고, 배포하는 클라우드 서버; 및 각각의 공간에 할당되며, 상기 클라우드 서버와 송수신하며, 상기 제어 모델을 수신하여 상기 공간의 복수의 로봇을 제어하는 복수의 에지 서버를 포함하며, 상기 클라우드 서버는 상기 복수의 로봇으로부터 실시간으로 에러값을 수신하고, 상기 에러값에 기초하여 업그레이드된 제어 모델을 생성하여 상기 에지 서버에 전송하는 것을 특징으로 하는 클라우드 기반 로봇 시스템을 제공한다.
상기 복수의 로봇은 서로 다른 종류의 로봇을 포함할 수 있다.
상기 제어 모델은 다른 종류의 상기 로봇의 복수의 기능에 대한 각각의 제어 모델이 패키징될 수 있다.
상기 에지 서버는 상기 제어 모델을 수신하고, 상기 에지 서버에 의해 관제되는 로봇의 종류에 따라 상기 제어 모델을 튜닝하여 실행할 수 있다.
상기 클라우드 서버는 상기 에지 서버로부터 환경 정보를 수득하여 상기 제어 모델에 대한 딥러닝 에러 학습을 수행하여 업그레이드된 상기 제어 모델을 생성할 수 있다.
상기 클라우드 서버는 상기 업그레이드된 제어 모델이 적용되는 다른 에지 서버를 선별하여 선별된 상기 에지 서버로 상기 업그레이드된 제어 모델을 전송할 수 있다.
상기 클라우드 서버는 상기 업그레이드한 제어 모델이 적용되는 로봇이 포함되어 있는 상기 에지 서버를 선별하여 상기 업그레이드된 제어 모델을 전송할 수 있다.
상기 클라우드 서버는 상기 제어 모델을 실행하면서, 상기 로봇으로부터 임계값을 초과하는 에러 값이 소정 수효 이상인 때, 상기 딥러닝 에러 학습을 수행하여 상기 업그레이드된 제어 모델을 생성할 수 있다.
상기 클라우드 서버는 상기 로봇으로부터 임계값을 초과하는 에러 값이 소정 수효 이상이고, 상기 에러 값에 대한 사용자의 반응에 패턴이 탐색되는 경우, 새로운 기능에 대한 딥러닝 모델을 생성할 수 있다.
상기 클라우드 서버는 복수의 상기 에지 서버를 분류하여 복수의 그룹으로 관리할 수 있다.
한편, 임의적으로 분할되어 있는 복수의 공간에 배치되어 있는 복수의 로봇을 제어하는 클라우드 기반 로봇 제어 방법에 있어서, 클라우드 서버에서 상기 복수의 로봇에 적용 가능한 제어 베이스 모델을 생성하는 단계; 각각의 공간에 할당되어 있는 에지 서버로 상기 제어 모델이 배포되는 단계; 상기 에지 서버에서 상기 제어 모델로 상기 복수의 로봇을 제어하면서, 상기복수의 로봇으로부터 에러 값을 실시간으로 수신하는 단계; 상기 클라우드 서버에서 특정 공간의 특정 로봇으로부터의 에러 값에 따라 상기 제어 모델을 상기 특정 공간에 대한 제어 모델로 업그레이드하는 단계; 및 상기 특정 공간에 할당되어 있는 상기 에지 서버로 업그레이드한 상기 제어 모델을 배포하고, 상기 업그레이드한 제어 모델로 상기 특정 로봇을 제어하는 단계를 포함하는 클라우드 기반 로봇 제어 방법을 제공한다.
상기 복수의 로봇은 서로 다른 종류의 로봇을 포함할 수 있다.
상기 제어 모델 생성 단계는, 다른 종류의 상기 로봇의 복수의 기능에 대한 각각의 제어 모델을 생성하여 패키징할 수 있다.
상기 에지 서버에서 상기 제어 모델을 수신하고, 상기 에지 서버에 의해 관제되는 로봇의 종류에 따라 상기 제어 베이스 모델을 튜닝하는 단계를 더 포함할 수 있다.
상기 업그레이드하는 단계는, 상기 클라우드 서버에서 상기 에지 서버로부터의 환경 정보를 수득하여 상기 에지 서버가 할당된 공간에 대한 딥러닝 학습을 수행하여 업그레이드된 제어 모델을 생성할 수 있다.
상기 클라우드 서버에서 상기 업그레이드된 제어 모델이 적용되는 다른 에지 서버를 선별하는 단계, 및 상기 선별된 다른 에지 서버로 상기 업그레이드된 제어 모델을 전송하는 단계를 포함할 수 있다.
상기 다른 에지 서버를 선별하는 단계는, 상기 클라우드 서버가 상기 업그레이드한 제어 모델이 적용되는 로봇이 포함되어 있는 상기 에지 서버를 선별할 수 있다.
상기 업그레이드 단계는, 제어 모델을 실행하면서 임계값을 초과하는 에러 값이 소정 수효 이상인 때, 상기 딥러닝 에러 학습을 수행하여 상기 업그레이드된 제어 모델을 생성할 수 있다.
상기 클라우드 서버는 상기 로봇으로부터 임계값을 초과하는 에러 값이 소정 수효 이상이고, 상기 에러 값에 대한 사용자의 반응에 패턴이 탐색되는 경우, 새로운 기능에 대한 딥러닝 모델을 생성하는 단계를 더 포함할 수 있다.
상기 클라우드 서버에서 복수의 상기 에지 서버를 분류하여 그룹핑하는 단계를 더 포함할 수 있다.
상기 해결 수단을 통해, 본 발명은 이산되어 있는 이종 로봇의 제어를 위한 딥러닝 모델을 에지 서버 사이에 공유하여 효율적인 지능 증강을 수행할 수 있다.
또한, 각각의 로봇이 배치된 로컬 환경의 딥러닝 모델을 각각 갱신함으로써 각 로컬 환경에 최적화된 서비스를 제공할 수 있다.
구체적으로, 클라우드 서버에서 각 로봇을 통해 각 로컬 환경을 모니터링하여 신규 기능이 필요한 로컬 환경을 도출하고, 기존의 베이스 모델에 신규 기능에 관한 학습 모델을 추가하여 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 클라우드 및 에지 기반의 환경을 설명하기 위한 개략도이다.
도 2는 본 발명의 클라우드 서버의 존 분류를 나타내는 개념도이다.
도 3은 본 발명의 하나의 에지 서버를 기준으로 이종 로봇 시스템을 설명하기 위한 상세도이다.
도 4는 도 3의 클라우드 서버의 일 적용예에 따른 구성도이다.
도 5는 본 발명의 일 실시예에 따른 클라우드, 에지 서버 및 로봇의 모델링을 도식화한 개념도이다.
도 6은 본 발명의 로봇 클라우드 시스템의 전체 순서도이다.
도 7은 도 6의 클라우드 서버가 한 에지 서버에 대한 베이스 모델을 업그레이드하는 것을 나타내는 순서도이다.
도 8는 본 발명의 일 실시예에 따른 다른 에지 서버로 업그레이드 모델 공유 방법을 나타내는 순서도이다.
이하에서 언급되는 구성요소 앞에 ‘제1, 제2' 등의 표현이 붙는 용어 사용은, 지칭하는 구성요소의 혼동을 피하기 위한 것일 뿐, 구성요소 들 사이의 순서, 중요도 또는 주종관계 등과는 무관하다. 예를 들면, 제1 구성요소 없이 제2 구성요소 만을 포함하는 발명도 구현 가능하다.
도면에서 각 구성의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장되거나 생략되거나 또는 개략적으로 도시되었다. 또한 각 구성요소의 크기와 면적은 실제크기나 면적을 전적으로 반영하는 것은 아니다.
또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.
도 1은 본 발명의 일 실시예에 따른 클라우드 및 에지 기반의 환경을 설명하기 위한 개략도이고, 도 2는 본 발명의 클라우드 서버의 존 분류를 나타내는 개념도이며, 도 3은 본 발명의 하나의 에지 서버를 기준으로 이종 로봇 시스템을 설명하기 위한 상세도이다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 클라우드 기반 로봇 시스템은 클라우드 서버(10), 복수의 에지 서버(20) 및 복수의 로봇(30)을 포함할 수 있다.
클라우드 기반 로봇(30) 시스템은 서로 이격되어 있는 다양한 공간에 분산되어 있는 복수의 로봇(30)을 통합적으로 관리하고 제어한다.
이때, 각 공간은 기능적 또는 지리적으로 분리되어 있으며, 각 공간 내에 배치되어 있는 복수의 로봇(30)을 제어하기 위한 각각의 에지 서버(20)가 설정되어 있다.
각 공간 내에는 동종의 로봇(30)이 배치되어 있을 수 있으나, 이와 달리 서로 다른 종류의 로봇(30)이 배치되어 있을 수 있다.
일 예로, 공간 1(A1)에는 에지 서버 1(21)이 설정되어 있으며, 1개의 주문 로봇 1(313) 및 2개의 안내 로봇(311, 312)이 배치되어 있을 수 있다. 한편, 공간 2에는 에지 서버 2(22)가 설정되어 있을 수 있으며, 2개의 배송 로봇(321, 323), 1개의 안내 로봇(322)이 배치될 수 있다. 한편, 공간 3에는 에지 서버 n(23)이 설정되어 있을 수 있으며, 엔터테이닝 로봇(331)과 안내로봇(332)이 배치되어 있을 수 있다.
각 공간에 배치되어 있는 이종 또는 동종의 로봇(30)은 해당 공간에 설정되어 있는 에지 서버(20) 및 클라우드 서버(10)와 송수신하며, 가정 또는 사업장 등에서 사용자와 인터랙션(interaction)하여 할당된 서비스를 제공할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 클라우드 로봇 시스템은, 각 공간에 복수의 이종 로봇(30) 및 각각의 에지 서버(20)가 설정되고 각각의 에지 서버(20)및 이종 로봇(30)과 송수신하며 통합 관리를 제공하는 클라우드 서버(10)를 포함한다.
에지 서버(20)는 원격에서 복수의 로봇(30)의 상태를 모니터링하고, 제어할 수 있어 클라우드 로봇 시스템은 복수의 로봇(30)을 이용하여 더 효과적인 서비스 제공이 가능하다.
복수의 이종 로봇(30), 에지 서버(20) 및 클라우드 서버(10)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다.
예를 들어, 복수의 이종 로봇(30), 에지 서버(20) 및 클라우드 서버(10)는 IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, Wi-Fi, Zigbee, Z-wave, Blue-Tooth 등과 같은 무선 통신 기술로 무선 통신하게 구현될 수 있다. 로봇(30)은 통신하고자 하는 다른 장치 또는 클라우드 서버(10) 및 에지 서버(20)의 통신 방식이 무엇인지에 따라 달라질 수 있다.
특히, 복수의 로봇(30)은 5G 네트워크를 통해 다른 로봇(30) 및/또는 에지 서버(20) 및 클라우드 서버(10)와 무선통신을 구현할 수 있다. 로봇(30)이 5G 네트워크를 통해 무선 통신하는 경우, 초저지연/초대용량 데이터 전송 네트워크를 수행할 수 있다.
보다 상세히, 5G 네트워크는 무선 구간에서 수십 Gbps의 전송속도를 제공하는 통신기술로서, 초저지연/초대용량/초실감 데이터를 서비스별 품질 요구사항에 대응하여 다수의 모듈에서 Gbps 이상의 속도와 msec단위의 초저지연 데이터 전송이 가능한 기술이다. 이러한 5G 네트워크는 고속의 유선망과 대등한 망품질을 제공하면서도 무선이라는 장점을 동시에 제공할 수 있다.
이러한 5G 네트워크는 클라우드 머신러닝/딥러닝 기반의 로봇 시스템에서 로봇(30)과 에지 서버(20) 사이, 에지 서버(20)와 클라우드 서버(10), 로봇(30)과 클라우드 서버(10) 사이에서 이종 로봇(30) 각각 및 각 공간에 최적화된 각종 서비스를 제공하도록 제어할 수 있다.
또한, 복수의 로봇(30) 및 에지 서버(20)는 MQTT(Message Queueing Telemetry Transport) 방식으로 통신할 수 있고, HTTP(HyperText Transfer Protocol) 방식으로 통신할 수 있으나, 이에 한정되는 것은 아니다.
경우에 따라서, 복수의 로봇(30) 및 에지 서버(20), 클라우드 서버(10) 사이는 2 이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다.
사용자는 에지 서버(20)와 송수신하면서 로봇(30) 시스템 내의 로봇(30)들에 관한 정보를 확인할 수 있다.
본 명세서에서 '사용자'는 복수의 로봇(30)을 통한 서비스를 이용하는 사람으로, 로봇(30)들을 구매 또는 대여하여 사업장 등에서 사용하는 개인 고객 및 로봇(30)을 이용하여 직원 또는 고객에게 서비스를 제공하는 기업의 관리자, 직원들과 이러한 기업이 제공하는 서비스를 이용하는 고객들을 포함할 수 있다. 따라서, '사용자'는 개인 고객(Business to Consumer: B2C)과 기업 고객(Business to Business : B2B)을 포함할 수 있다.
클라우드 서버(10)는 물리적으로 분산되어 있는 복수의 로봇(30)을 제어하기 위한 모델을 설계/생성하고, 해당 모델을 각각의 공간에 설정되어 있는 에지 서버(20)에 분포한다.
구체적으로, 상기 클라우드 서버(10)는 베이스 모델 또는 엔진을 생성한다. 베이스 모델 또는 엔진은 이종 로봇 시스템의 환경 상, 이종 로봇(30)에 적용되는 범용 모델 또는 범용 엔진으로, 특정 상황에 대하여 구체화되어 있는 모델로 설계되지 않는다.
클라우드 서버(10)는 복수의 이종 로봇(30)에 대하여, 기능적 또는 구조적으로 구분되어지는 복수의 베이스 모델 또는 엔진을 각각 형성하여 패키지화할 수 있으며, 에지 서버(20)에서 구현이 어려운 복잡한 머신 러닝/딥러닝을 수행할 수 있다.
기계학습(즉, 머신 러닝)이란, 인공지능의 한 분야로서, 컴퓨터가 스스로 학습할 수 있도록 하는 알고리즘과 기술을 기반으로 수많은 데이터를 일반화하고 분류해 평가할 수 있는 모델을 생성하는 기술을 말한다.
이와 같은 베이스 모델을 생성하고, 복수의 에지 서버(20)에 배포함으로써 물리적으로 이격되어 있는 복수의 이종 로봇(30)에 대한 제어를 수행할 수 있다.
또한, 클라우드 서버(10)는 각 로컬 환경, 즉 복수의 이종 로봇(30)이 배치되어 있는 각 공간에 대하여, 에지 서버(20)로부터 환경에 대한 정보를 수신하고, 로봇(30)으로부터 실시간으로 에러 정보를 수신하고, 이를 종합적으로 판단하여 상기 환경에 최적화되도록 베이스 모델을 업그레이드하는 딥러닝을 수행할 수 있다.
클라우드 서버(10)는 업그레이드된 상기 모델을 해당 공간의 에지 서버(20)에 전송하여 업그레이드된 상기 모델을 실행함으로써 해당 공간에 대한 최적화된 모델로 각각의 이종 로봇(30)을 제어할 수 있다.
또한, 클라우드 서버(10)는 복수의 에지 서버(20)를 존(zone) 별로 구분하여 그룹핑할 수 있으며, 이와 같이 그룹핑되어 있는 에지 서버(20)에 대하여 그룹별로 관리 가능하다.
이때, 그룹핑되는 존은 클라우드 서버(10)로부터 에지 서버(20)까지의 물리적 거리 또는 응답 시간에 따라 설정가능하다.
도 2와 같이, 클라우드 서버(10)로부터 제1 거리(d1) 또는 제1 응답 시간 내에 존재하는 복수의 에지 서버(21, 22)를 제1 존(z1)으로 분류하고, 제1 거리(d1)보다 큰 제2 거리(d2) 또는 제1 응답 시간보다 긴 제2 응답 시간 내에 존재하는 복수의 에지 서버(23, 24, 25)를 제2 존(z2)으로 분류하고, 그 외의 에지 서버(26, 27)를 제3 거리(d3) 또는 제3 응답 시간으로 분류하면서 제3 존(z3)에 분류할 수 있다.
이때, 제1 거리(d1)와 제2 거리(d2) 및 제3 거리(d3) 사이의 거리는 서로 동일할 수 있으나, 이에 한정되는 것은 아니다.
또한, 제1 내지 제3 응답 시간의 차는 서로 동일할 수 있으나, 이에 한정되는 것은 아니다. 이때, 응답 시간은 패킷이 도달하기까지 네트워크 노드들의 수 또는 ping을 통해 오는 응답 시간으로 정의할 수 있으나, 이에 한정되는 것은 아니다.
이와 같이 복수의 에지 서버(20)에 대하여 존 별로 분류하는 경우, 클라우드 서버(10)에서 각 에지 서버(20)의 모델링 배포 스케쥴링 등에 유용하게 적용 가능하다.
에지 서버(20)는 도 3과 같이 각각의 공간에 설정되어 있으며, 해당 공간에 배치되어 있는 복수의 이종 또는 동종의 로봇(30)에 적합하도록 베이스 모델을 적응형 모델로 튜닝하고, 새로 수신되는 업그레이드된 베이스 모델을 튜닝하여 각 로봇(30)을 제어한다.
일반적인 에지 서버(20)는 데이터를 클라우드 서버(10)에서 처리하던 방식에서 벗어나 데이터가 만들어지는 가장자리 영역(Edge)에서 데이터를 처리하는 기술로, 실시간을 요하는 데이터는 에지 서버(20)에서 처리하고 필요 시 2차 작업으로 중앙 클라우드와 소통하는 방식으로 구현된다.
그러나, 본 발명에서는 클라우드 서버(10)에서는 이종 로봇(30) 및 서비스에 대한 범용 모델 또는 엔진인 베이스 딥러닝 모델링을 수행하고, 에지 서버(20)에서 해당 베이스 모델을 수신하고, 이를 해당 공간에 적합하도록 튜닝하여 실행하며, 해당 공간의 로봇(30)으로부터 에러 정보를 클라우드 서버(10)가 수신하여 상기 베이스 모델에 대한 업그레이드를 수행하여 다시 에지 서버(20)에 제공한다.
구체적으로, 클라우드 서버(10)는 다양한 복수의 로봇(30)들로부터 이전에 수집된 해당 공간의 학습 데이터를 활용하여 베이스 딥러닝 모델을 각 로봇(30) 및 서비스에 적합하도록 맞춤형으로 업그레이드하는 딥러닝/머신 러닝을 수행한다.
이때, 클라우드 서버(10)는 해당 공간에 대한 다양한 환경 정보 등을 함께 고려할 수 있으며, 각 공간에 대한 최적의 맞춤형 딥러닝 모델로 업그레이드 가능하다.
또한, 복수의 이종 로봇(30)은 피드백(에러, 성능 정보 등)을 클라우드 서버(10)로 전송하고, 클라우드 서버(10)는 다른 에지 서버(20)에 업그레이드한 모델을 공유할 수 있다. 따라서, 공유 받은 다른 에지 서버(20)는 기존의 모델을 제거하고, 공유받은 모델로 갱신하여 해당 공간의 로봇(30)들에 적합하게 튜닝하고 실행가능하다.
각각의 에지 서버(20)는 도 3과 같이, 하나의 구분된 가상의 공간 또는 물리적으로 분리된 공간(A1)에 배치되어 있으며, 해당 공간(A1)에서 배치되어 서비스를 제공하는 복수의 로봇(30) 및 로봇(30)이 제공하는 서비스를 제어한다.
일 예로, 도 3과 같이, 에지 서버(21)는 스마트 식당 내에서 서비스를 제공하는 복수의 로봇(30:31, 32, 33, 34, 35)들을 제어할 수 있으며, 복수의 로봇(30)은 안내 로봇, 주문 로봇, 배송 로봇, 엔터테이닝 로봇, 청소 로봇 또는 요리 로봇, 바리스타 로봇 등을 포함할 수 있다.
이와 같이, 해당 공간(A1)에 배치되어 있는 복수의 이종 로봇(30)들은 해당 에지 서버(21)에 종속되어 에지 서버(21) 및 클라우드 서버(10)와 데이터를 송수신하면서 서비스를 제공한다.
이러한 클라우드 서버(10) 및 에지 서버(20)는 일반적으로 유사한 구성을 가질 수 있다.
도 4는 도 3의 클라우드 서버(10)의 일 적용예에 따른 구성도이다.
도 4를 참고하면, 클라우드 서버(10)는 메모리, 컴퓨팅 데이터 콜렉션 데이터베이스(110: Computing data collection database), 제어부(100) 및 통신부(120)을 포함할 수 있다.
구체적으로, 클라우드 서버(10) 또는 에지 서버(20)는 메모리와 메모리에 저장된 프로그램을 독출하여 특정 기능을 수행하는 프로세서로 구성된 적어도 하나 이상의 컴퓨팅 장치로 구현될 수 있다.
먼저, 메모리(110)는, 클라우드 서버(10)의 경우, 베이스 딥러닝을 위한 프로세싱을 수행할 수 있는 알고리즘을 저장할 수 있고, 각 공간 내의 복수의 동종 또는 이종 로봇(30)들로부터 IoT기술에 기반해 획득한 데이터들을 저장하여 관리할 수 있 다.
에지 서버(20)의 경우, 공간 내의 복수의 동종 또는 이종 로봇(30)들로부터 IoT기술에 기반해 획득한 데이터들을 저장하여 관리할 수 있으며, 클라우드 서버(10)로부터 수신하는 베이스 딥러닝 모델을 저장할 수 있다.
또한, 메모리(110)는 본 발명의 실시예에 따른 기능 동작에 필요한 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
이러한 메모리(110)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
또한, 일부 실시예들에서, 메모리(110)에 저장된 소프트웨어 컴포넌트들은, 운영 체제, 통신 모듈(또는 명령어들의 세트), 접촉/모션 모듈(또는 명령어들의 세트), 그래픽 모듈(또는 명령어들의 세트), 텍스트 입력 모듈(또는 명령어들의 세트), 위성 위치확인 시스템(GPS) 모듈(또는 명령어들의 세트), 및 어플리케이션들(또는 명령어들의 세트들)을 포함할 수 있다.
클라우드 서버(10)의 프로세서(100)는 머신러닝/딥러닝을 수행할 수 있는 보다 고도화된 프로세서를 구비할 수 있다.
에지 서버(20)의 경우, 복수의 로봇(30)의 전반적인 동작을 제어하고 구동할 수 있다.
이러한 프로세서(100)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스 (microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
클라우드 서버(10)의 프로세서(100)는 복수의 로봇(30)들로부터 획득된 각종 데이터를 분석하여 적합한 처리를 수행할 수 있으며, 자체적으로 머신 러닝/딥러닝을 수행하여 해당 베이스 딥러닝 모델의 업그레이드를 위한 학습을 수행할 수 있다.
클라우드 서버(10)는 로봇(30)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 머신러닝/딥러닝한 후, 업그레이드된 모델을 에지 서버(20)으로 전송할 수 있다.
에지 서버(20)의 프로세서(100)는 복수의 로봇(30)들로부터 획득된 데이터들을 각각 분석하고, 분석된 각 데이터별로 해당 로봇에 적용할 수 있다.
한편, 클라우드 서버(10) 또는 에지 서버(20)는 통신부(120)을 포함할 수 있으며, 앞서 설명한 바와 같이 환경에 요구되는 통신 방식에 따라 다양한 통신이 가능하다. 특히, 5G 네트워크를 이용하여 로봇(30)-에지 서버(20), 에지 서버(20)-클라우드 서버(10), 에지 서버(20)-에지 서버(20), 로봇(30)-클라우드 서버(10) 사이의 통신이 가능하며 대용량의 딥러닝 모델링의 알고리즘 자체가 송수신 가능하다.
한편, 각각의 공간에 배치되는 다양한 이종 또는 동종의 로봇(30)은 에지 서버(20)로 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 에지 서버(20)로 전송할 수 있다.
여기서, 데이터는 공간(space), 사물(Object) 관련 데이터는 로봇(30)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 로봇(30) 및 클라우드 서버(10)는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 클라우드 서버(10)는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 클라우드 서버(10)의 프로세서에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 로봇(30)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센서부(110)에서 획득된 감지 신호 등이 해당될 수 있다.
로봇(30)은 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 로봇(30)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 로봇(30)의 통신부를 통하여 에지 서버(20) 및/또는 클라우드 서버(10)로 전송될 수 있다.
클라우드 서버(10)는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 해당 에지 서버(20)으로 전송하여 업데이트하게 할 수 있다.
본 발명의 일 실시예에 따른 로봇(30)은 각 공간을 주행하며 설정되어 있는 서비스 또는 임무를 수행하는 이동 로봇(30)일 수 있다.
이와 같은 로봇(30)은 전반적인 동작을 제어하는 제어부, 각종 데이터를 저장하는 저장부, 클라우드 서버(10) 및 에지 서버(20) 등 다른 기기와 데이터를 송수신하는 통신부를 포함할 수 있다.
제어부는, 로봇(30) 내 통신부, 각종 센서 등을 제어하여, 로봇(30)의 동작 전반을 제어할 수 있다.
통신부는 적어도 하나의 통신모듈을 포함하여 인공지능 로봇(30)이 인터넷, 또는 소정의 네트워크에 연결되도록 할 수 있고 다른 기기와 통신하게 할 수 있다.
또한, 통신부는 에지 서버(20) 및 클라우드 서버(10)에 구비되는 통신 모듈과 연결하여 로봇(30)과 에지 서버(20) 및/또는 클라우드 서버(10) 간의 데이터 송수신을 처리할 수 있다.
본 발명의 일 실시예에 따른 로봇(30)은 마이크를 통하여 사용자의 음성 입력을 수신하는 음성 입력부를 더 포함할 수 있다.
음성 입력부는, 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어, 사용자 입력 음성 신호를 제어부 또는 에지 서버(20)에서 인식할 수 있도록 데이터화할 수 있다.
한편, 제어부는 음성 인식 결과에 기초하여 로봇(30)이 소정 동작을 수행하도록 제어할 수 있다.
한편, 로봇(30)은 그 종류에 따라 소정 정보를 영상으로 표시하거나 음향으로 출력하는 각종 모듈을 포함할 수 있다.
로봇(30)은 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시하는 디스플레이를 포함할 수 있다.
실시예에 따라서는, 상기 디스플레이 중 적어도 일부는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 터치스크린으로 구성되는 디스플레이는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 음향 출력부는 제어부의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부는, 제어부로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
실시예에 따라서, 로봇(30)은 소정 범위를 촬영할 수 있는 영상획득부를 더 포함할 수 있다.
영상획득부는 인공지능 로봇(30) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다.
영상획득부는, 사용자 인식용 영상을 촬영할 수 있다. 제어부는 상기 영상획득부가 촬영하여 획득된 영상에 기초하여 외부 상황을 판단하거나, 사용자(안내 대상)를 인식할 수 있다.
또한, 로봇(30)이 인공지능 로봇(30)인 경우에, 상기 제어부는, 상기 영상획득부가 촬영하여 획득하는 영상에 기초하여 로봇(30)이 주행하도록 제어할 수 있다.
로봇(30)은 이동을 위한 구동부를 더 포함할 수 있고, 상기 구동부는 제어부의 제어에 따라, 본체를 이동시킬 수 있다.
구동부는 로봇(30)의 주행부 내에 배치될 수 있으며, 본체를 이동시키는 적어도 하나의 구동 바퀴(미도시)를 포함할 수 있다. 구동부는 구동 바퀴에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함할 수 있다. 구동 바퀴는 본체의 좌, 우측에 각각 구비될 수 있으며, 이하, 각각 좌륜과 우륜이라고 한다.
좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜과 우륜의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체의 주행방향을 전환할 수 있다.
한편, 로봇(30)은 로봇(30)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들을 포함하는 센서부를 포함할 수 있다.
상기 센서부는 로봇(30)의 동작을 감지하고 동작 정보를 출력하는 동작 감지 센서를 더 포함할 수 있다. 예를 들어, 동작 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.
상기 센서부는 장애물을 감지하는 장애물 감지 센서를 포함할 수 있고, 상기 장애물 감지 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서, 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서, 라이다(light detection and ranging: Lidar) 등 포함할 수 있다.
한편, 상기 장애물 감지 센서는 인공지능 로봇(30)의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부에 전달한다. 이때, 제어부는, 감지된 장애물의 위치에 따라 로봇(30)의 움직임을 제어할 수 있다.
한편, 제어부는 통신부를 통해 인공지능 로봇(30)의 동작상태 또는 사용자 입력 등을 에지 서버(20) 및 클라우드 서버(10) 등으로 전송하도록 제어할 수 있다.
이와 같은 로봇(30)은 도 3과 같이, 하나의 공간에 배송 로봇, 주문 로봇, 안내 로봇과 같은 특정 임무가 배정되며, 해당 임무에 맞게 작업부를 별도로 포함할 수 있는 구조를 가질 수 있다.
각각의 로봇(30)은 배정된 임무에 따라 각각의 에지 서버(20)로부터 제어될 수 있다.
이하에서는 도 5 및 도 6을 참고하여 이종 로봇(30)을 포함하는 로봇(30) 시스템의 제어에 대하여 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 클라우드 및 에지 서버(20)의 모델링을 도식화한 개념도이고, 도 6은 본 발명의 로봇(30) 클라우드 시스템의 전체 순서도이다.
도 6을 참고하면, 본 발명의 일 실시예에 따른 로봇(30) 클라우드 시스템은 클라우드 서버(10)와 송수신하는 복수의 에지 서버(20) 사이에 모델 생성/배포/공유가 이루어진다.
구체적으로, 클라우드 서버(10)는 해당 클라우드 서버(10)가 관제하는 모든 로봇(30), 즉, 해당 클라우드 서버(10)로부터 제어되거나, 정보를 저장하도록 연계되어 있는 로봇(30)들, 또는 에지 서버(20)와 연계되어 있는 로봇(30)들에 범용적으로 적용될 수 있는 베이스 모델을 생성한다(S10).
즉, 클라우드 서버(10)는 프로세서(100)에서 머신러닝/딥러닝을 수행하여 복수의 이종 로봇(30)의 제어에 범용적으로 사용 가능한 모델을 생성한다.
클라우드 서버(10)와 송수신하는 에지 서버(20)를 통해 관제되는 이종 로봇(30)이 도 5와 같이, 배송 로봇, 바리스타 로봇, 주문 로봇, 요리 로봇, 안내 로봇 등인 경우, 각각의 로봇들(30)에 선택적으로 활용될 수 있는 모델로서, 객체 인식 모델(101), 내비게이션 모델(102), 음성 인식 모델(103), 위치 인식 모델(104), 감성 인식 모델(105), 제어 지능 모델(106) 등을 각각 생성할 수 있다.
이와 같은 모델(101-106)은 특정 로봇(30)에 대하여 선택적으로 적용 가능하며, 클라우드 서버(10)의 경우, 합집합의 개념으로 요구되는 모든 모델들(101-106)을 각각 생성한다.
이와 같은 각각의 딥러닝 모델링은 에지 서버(20)에 범용의 패키징된 베이스 모델을 제공하고, 각각의 에지 서버(20)가 각각의 공간 및 로봇(30)에 따라 튜닝함로써 해당 환경에 최적화한다.
구체적으로, 클라우드 서버(10)는 생성된 패키징된 베이스 모델을 생성하고, 등록된 각각의 에지 서버(20)에 해당 패키징된 베이스 모델을 배포한다(S10).
한편, 클라우드 서버(10)는 복수의 에지 서버(20)를 등록 및 특정 존에 분류하는 그룹화를 진행한다(S20).
등록된 각각의 에지 서버(20)의 거리 또는 응답 시간에 따라 존을 설정하고, 같은 존에 있는 복수의 에지 서버(20)에게 할당된 존에 대한 정보 및 같은 존에 등록되어 있는 다른 에지 서버(20)에 대한 정보를 전송할 수 있다.
이때, 신규 에지 서버 2(22)로부터의 서비스 등록 요청이 수신되면(S21), 클라우드 서버(10)는 해당 신규 에지 서버 2(22)에 대한 존 할당을 수행한다(S30).
즉, 신규 에지 서버 2(22)의 IP 주소를 통한 에지 서버 2(22)의 물리적 위치를 판단하고, Ping 또는 traceroute를 통해 응답 시간을 측정한다.
클라우드 서버(10)는 응답 시간 또는 물리적인 위치에 따른 클라우드 서버(10)와의 거리를 읽어 신규 에지 서버(20)를 특정 존에 할당한다(S30).
클라우드 서버(10)는 이와 같이 존 할당에 대한 정보, 일 예로, 해당 존의 범위, 해당 존 내에 등록되어 있는 다른 에지 서버(21, 23,,,,) 정보를 신규 에지 서버 2(22)에 전송하고, 해당 존의 다른 에지 서버(21, 23,,,,)에 신규 에지 서버 2(22)가 등록되었음을 전송한다.
다음으로, 클라우드 서버(10)는 등록된 에지 서버 2(22)에 해당 패키징된 베이스 모델을 배포한다(S31).
이때, 배포되는 베이스 모델은 다양한 이종 로봇(30)을 관리 또는 제어 가능한 다양한 기능에 관련된 모델 또는 모듈이 패키징된 것으로서, 베이스 모델의 전송 시에 해당하는 베이스 모델의 튜닝을 위한 응용 프로그램 또한 함께 배포될 수 있다.
에지 서버 2(22)는 해당 베이스 모델을 수신하면, 이를 에지 서버 2(22)가 관장하는 복수의 이종 로봇(30)에 적합하도록 해당 베이스 모델을 튜닝한다(S40).
이와 같은 튜닝은 도 5에서, 에지 서버 2(22)가 배송 로봇(30), 주문 로봇(30), 및 안내 로봇(30)만을 제어하는 경우, 수신된 베이스 모델 중 제어 지능 모델은 활성화하지 않고, 다른 모델인 객체 인식 모델(101), 내비게이션 모델(102), 음성 인식 모델(103), 위치 인식 모델(104), 및 감성 인식 모델(105)만을 활성화하도록 튜닝할 수 있다.
즉, 각 영역에서 필요한 모델만을 활성화하고, 필요하지 않은 모델은 활성화하지 않은 상태로 저장하는 과정을 튜닝으로 정의한다.
에지 서버(20)는 구역(A1, A2, A3*?*)의 이종의 로봇(30)에 필요한 모델만을 선별하여 활성화함으로써 연산 프로그램을 감소시켜 비용 및 시간을 절감시킬 수 있다.
일 예로, 도 5의 에지 서버 1(21)의 경우, 배송 로봇, 바리스타 로봇, 주문 로봇, 요리 로봇 및 안내 로봇이 구역(A1) 내에 배치되어 잇는 경우, 베이스 모델로 패키징된 모든 모델들이 활성화될 수 있다.
에지 서버 3(23)와 같이, 바리스타 로봇, 주문 로봇, 요리 로봇만이 존재하는 경우, 로봇들의 이동이 이루어지지 않아, 내비게이션 모델(102), 위치 인식 모델(104) 등이 활성화되지 않은 채로 제어를 진행할 수 있다(S41).
각각의 이종 로봇(30)은 튜닝된 베이스 모델에 따라 제어되어 할당되어 있는 임무를 수행하면서 고객에게 서비스를 제공한다(S50).
이때, 이종 로봇(30)은 각 동작에 대한 입력, 출력 및 에러 값을 클라우드 서버(10)에 전송하여 리포트를 진행한다(S51).
다음으로, 클라우드 서버(10)는 에지 서버(20)를 통해 튜닝된 베이스 모델을 구동하여 각각의 이종 로봇(30)의 제어를 수행하면서 소정의 데이터가 확보되면, 각각의 베이스 모델을 각 로봇 환경에 적합하도록 업그레이드할 수 있다(S60).
이와 같은 베이스 모델의 업그레이드는 도 7 및 도 8을 참고하여, 이후에 상세히 설명한다.
클라우드 서버(10)에서 일에지 서버(20)의 베이스 모델에 대한 업그레이드가 이루어지면, 클라우드 서버(10)는 해당 업그레이드된 모델을 에지 서버(10)에 전송한다(S61).
이때, 업그레이드된 베이스 모델을 수신한 에지 서버(20)는 이전의 베이스 모델을 삭제하고, 업그레이드된 베이스 모델로 변환, 업데이트하여 할당된 영역 내의 로봇(30)을 제어할 수 있다(S62).
이와 같이 본 발명의 클라우드 서버(10)를 이용한 이종 로봇(30)의 제어 시스템은, 원거리의 로봇(30)들을 제어하기 위한 에지 서버(20)를 포함하며, 각 에지 서버(20)에서 클라우드 서버(10)가 제공하는 베이스 모델을 적합하게 튜닝하여 사용하면서도, 클라우드 서버(10)에서 각각의 로봇에 대한 에러 리포트를 수신하여, 각 공간에 대한 베이스 모델을 개별적으로 업그레이드하여 머신러닝/딥러닝을 수행한다.
이와 같이 클라우드 서버(10)에서 각각의 환경에 특화되도록 업그레이드된 베이스 모델을 해당 공간의 에지 서버(20)로 전송하고, 이를 필요로 하는 다른 에지 서버(20)에도 송수신할 수 있다.
이와 같이, 클라우드 서버(10)를 통하여 베이스 모델을 업그레이드함으로써, 베이스 모델 업그레이드에 활용되는 머신러닝/딥러닝의 알고리즘 연산이 클라우드 서버(10)에서 집중적으로 수행되어, 개별 에지 서버에서의 연산 부담이 감소한다.
따라서, 개별 에지 서버(20)는 단순 프로세서 또는 컨트롤러로서 기능만을 수행하여 각 로봇(30)에 대한 명령 및 수신에 대한 연산 시간이 감소되며, 개별 에지 서버(20)의 모듈의 크기 및 연산 크기가 감소되어 각각 에지 서버(20)에 대한 경제적 부담이 감소할 수 있다.
또한, 클라우드 서버(10) 단에서 직접 필요한 다른 에지 서버(20)로 업그레이드한 베이스 모델이 송수신되므로, 업그레이드가 필요한 다른 에지 서버(20)의 선별부터 전송까지를 하나의 모듈에서 진행할 수 있으며, 불필요한 트래픽을 줄일 수 있다.
이하에서는 클라우드 서버(10)에서의 베이스 모델의 업그레이드 및 업그레이드된 베이스 모델의 공유에 대하여 도 7 및 도 8을 참고하여 설명한다.
도 7은 도 6의 클라우드 서버가 베이스 모델을 업그레이드하는 것을 나타내는 순서도이고, 도 8은 본 발명의 일 실시예에 따른 다른 에지 서버로의 업그레이드 모델 공유 방법을 나타내는 순서도이다.
먼저, 도 7을 참고하면, 클라우드 서버(10)는 에지 서버(20)에서 튜닝된 베이스 모델에 대하여, 복수의 로봇(30) 각각으로부터 딥러닝 에러 학습을 위한 임계값 및 최소 데이터 수를 설정한다(S100).
구체적으로, 임계값(Eth) 및 최소 데이터 수(N)을 설정할 수 있다.
임계값(Eth)은 각각의 베이스 모델에 대하여 수신되는 값 중 에러의 값으로 분류된 값들의 선별을 위한 기준값으로 정의될 수 있으며, 최소 데이터 수(N)는 딥러닝 모델 학습이 가능한 최소 데이터 수로 정의될 수 있다.
이때, 각각의 모델에 대하여 임계 값(Eth)과 최소 데이터 수(N)가 서로 다르게 설정될 수 있다.
다음으로, 클라우드 서버(10)는 에지 서버(20)가 각각의 모델을 활용하여 복수의 이종 로봇(30)의 제어를 수행하는 동안, 각각의 로봇(30)으로부터 에지 서버(20)가 전송하는 입력값 및 각 로봇(30)으로부터 출력되는 출력값 과 에러값(E)을 각각 수신한다(S101).
이와 같은 입력값, 출력값 및 에러값(E)은 각 서비스 또는 각 기능의 진행마다 수신가능하며, 이벤트 발생마다 수신가능하다.
클라우드 서버(10)는 수신한 데이터를 각 로컬 환경, 즉 에지 서버(20)에 대응하여 딥러닝 모델 및 학습 데이터와 함께 저장한다.
다음으로, 클라우드 서버(10)는 각 로컬 환경의 특성을 모니터링하여 딥러닝베이스 모델의 업그레이드 필요 여부를 결정한다.
클라우드 서버(10)는 각 에지 서버(20)에 대한 로컬 환경의 딥러닝 모델의 학습 완성도, 사용자 반응 및 로봇(30) 및 사용자의 패턴을 분석하여 현재 딥러닝 모델을 업그레이드할지 또는 새로운 기능의 모델을 생성할지 결정한다.
이와 같은 판단은 로봇(30)의 출력에 대한 사용자의 반응에 대한 패턴을 분석함으로써 결정할 수 있다(S102).
즉, 사용자의 반응에 패턴이 형성되지 않는 경우, 일반적인 에러 상황으로 판단할 수 있으며, 상기 에러값(E)가 임계값(Eth) 이상인 경우가 최소 데이터 수(N) 이상인 때, 현재의 딥러닝 모델을 업그레이드하는 상황으로 판단할 수 있다(S103).
즉, 에러값(E)이 임계값(Eth) 이상 경우, 이는 참인 것으로 판단하여, 학습 데이터로 저장하고, 데이터 수(n=n+1)를 카운트한다.
이와 같이 연속적으로 데이터들에 대한 에러값(E)이 임계값(Eth)보다 큰지 여부를 판단하면서 카운트된 데이터 수가 최소 데이터 수(N)를 충족하지 않으면 다음 데이터들을 읽어들여 다시 에러값(E)에 대한 참/거짓을 판단하고, 임계값(Eth)보다 큰 에러값의 데이터 수가 최소 데이터 수(N)를 충족하면 딥러닝 모델 학습이 가능한 상태로 판단하여 해당 모델의 딥러닝 학습을 통한 업그레이드를 수행한다(S104).
이때, 클라우드 서버(10)는 추가된 에러값들(E)과 함께 각 노드 수, layer 수, 활성화 함수(activation function) 값들을 변경하면서 업그레이드 가능하며, 이때, 활성화 함수는 복수의 후보군을 미리 저장하여 활용 가능하다.
일 예로, 해당 음성 인식 모델을 적용하면서 에러값(E)이 최소 데이터 값 이상으로 발생하는 경우, 그에 따라 다른 활성화 함수를 적용하여 에러를 최소화하도록 프로그램할 수 있다.
이와 같이 업그레이드된 모델은 version 2(V2)로 에지 서버(20)에 전송되며, 에지 서버(20)는 이를 이전 버전인 version 1(V1)과 대체하여 활용할 수 있다(S105).
한편, 클라우드 서버(10)는 에지 서버(20)로부터 각 공간의 로컬 환경에 대한 정보를 수신하고, 이를 로봇으로부터의 데이터와 종합하여 해당 로컬 환경에 신규 기능이 필요한지 여부를 판단할 수 있다(S102).
클라우드 서버(10)는 각 에지 서버(20)에 대한 로컬 환경의 딥러닝 모델의 학습 완성도, 사용자 반응 및 로봇(30) 및 사용자의 패턴을 분석하여 현재 딥러닝 모델과 다른 새로운 기능의 모델을 생성할지 결정한다.
이와 같은 판단은 로봇(30)의 출력에 대한 사용자의 반응에 대한 패턴을 분석함으로써 결정할 수 있다.
즉, 사용자의 반응에 패턴이 탐색되고, 이와 같은 사용자의 반응의 패턴에 의도가 있는 것으로 판단된 경우, 새로운 기능의 필요성이 있는 것으로 판단한다.
이에 따라, 클라우드 서버는 딥러닝 /머신 러닝을 수행하여 새로운 반응 패턴에 대한 새로운 기능을 제어할 수 있는 딥러닝 베이스 모델을 생성할 수 있다.
이와 같은 새로운 딥러닝 모델은 업그레이드되는 다른 모델과 함께 패키징되어 상기 에지 서버(20)에 전송된다.
이와 같이 전송된 새로운 모델은 version 2(V2)로 에지 서버(20)의 메모리(101)에 저장될 수 있으며, 이를 이전 버전인 version 1(V1)과 대체하여 활용할 수 있다.
에지 서버(20)는 업그레이드된 모델에 대하여 변경이 이루어지면, 이와 같은 변경 내역을 클라우드 서버(10)에 전송하고, 다시 업그레이드된 모델로 이종 로봇(30)을 관제한다.
이와 같이, 클라우드 서버에서 에지 서버(20)로부터의 환경 정보 및 로봇으로부터의 실시간 데이터에 의해 각 환경에 맞는 모델링을 수행함으로써 가장 최적화된 버전의 모델링이 가능하다.
또한, 로봇으로부터만이 아닌 에지 서버로부터의 환경 정보를 수신하고, 사용자의 반응 등을 분헉하여 모델링을 수행함으로써 사용자 응답에 대한 패턴 분석이 반영된 모델 업그레이드가 가능하다.
또한, 각각의 활성화 함수 및 변경 옵션이 이미 저장되어 있어 이를 변경하는 것으로 업그레이드가 가능하여 비교적 간단한 업그레이드가 가능하다.
이와 같이, 특정 에지 서버(20)가 위치하는 특정 환경에 대하여 업그레이드된 베이스 모델은 유사한 로봇(30)을 관제하는 다른 에지 서버(20)에 공유 가능하다.
구체적으로 도 8을 참고하면, 클라우드 서버(10)는 해당 클라우드 서버(10)가 관제하는 모든 로봇(30), 즉, 해당 클라우드 서버(10)로부터 제어되거나, 정보를 저장하도록 연계되어 있는 로봇(30)들, 또는 에지 서버(20)와 연계되어 있는 로봇(30)들에 범용적으로 적용될 수 있는 베이스 모델을 생성하여 배포한다(S200).
즉, 클라우드 서버(10)는 프로세서(100)에서 머신러닝/딥러닝을 수행하여 복수의 이종 로봇(30)의 제어에 범용적으로 사용 가능한 모델을 생성한다.
이와 같은 각각의 딥러닝 모델링은 에지 서버(20)에 범용의 패키징된 베이스 모델을 제공하고, 각각의 에지 서버(20)가 각각의 공간 및 로봇(30)에 따라 튜닝함로써 해당 환경에 최적화한다(S201).
에지 서버 A(21)는 해당 베이스 모델을 수신하면, 이를 에지 서버 A(21)가 관장하는 복수의 이종 로봇 1(30)에 적합하도록 해당 베이스 모델을 튜닝한다.
각 에지 서버(20)는 튜닝된 베이스 모델로 해당 공간, 즉 복수의 이종 로봇이 배치되어 있는 할당된 공간 내의 이종 로봇(20)을 제어하고, 각각의 로봇 1(30)은 에지 서버로부터의 입력에 따라 설정되어 있는 임무를 수행하기 위한 출력을 사용자에게 제공한다(S202).
각각의 로봇(30)은 설정되어 있는 임무를 수행하면서 발생하는 에러값에 대하여 입력과 출력과 함께 클라우드 서버에 실시간으로 전송한다(S203).
클라우드 서버(10)는 이와 같은 각각의 로봇(30)으로부터의 에러 리포팅에 의한 데이터와 에지 서버(20)로부터의 환경 정보를 수득하고, 이를 조합하여 해당 에지 서버 A(21)에 대한 딥러닝 모델의 업그레이드를 수행한다.
따라서, 해당 환경, 즉 에지 서버 A(21)가 할당되어 있는 공간에 대한 업그레이드된 딥러닝 모델이 생성된다(S204).
에지 서버 A(21)에 대한 모델 업그레이드가 발생한 경우, 클라우드 서버(10)는 에지 서버 A(21)로 해당 업그레이드 버전의 딥러닝 모델을 전송한다(S205).
에지 서버 A(21)는 해당 업그레이드된 모델로 변경하여 이종 로봇의 제어를 수행하고(S206), 이종 로봇(30)은 새로운 모델에 의한 제어에 따라 임무를 수행하면서 에러 레포트를 동일하게 클라우드 서버(10)로 전송한다.
한편, 클라우드 서버(10)는 에지 서버A(21)에 대한 업그레이드 모델의 생성되면, 해당 모델에 오류가 많이 발생하여 다른 에지 서버(22)에서 유사한 에러 발생이 예상되는 바, 이와 같은 에러를 방지하기 위한 모델 업그레이드가 필요한 다른 에지 서버(22)에 대한 선별을 수행한다(S211).
즉, 클라우드 서버(10)는 업그레이드한 모델에 대하여, 업그레이드한 변경점 및 관련된 로봇(30) 모델명 등을 기준으로 유사한 환경을 가지는 다른 에지 서버(22)를 선별한다.
즉, 클라우드 서버(10)는 동일한 로봇(30)을 관제하는 다른 에지 서버(22)들을 선별할 수 있으며, 해당 업그레이드된 모델을 주로 활용하는 에지 서버(22)를 선별할 수도 있다.
이때, 클라우드 서버(10)는 현재 에지 서버(20)와 유사한 공간, 즉 유사한 관경 특징점을 가지는 에지 서버(20)를 선별할 수 있으나, 이에 한정되는 것은 아니다.
또한, 클라우드 서버(10)는 각 에지 서버(20)의 존 별 관련성을 참고하여, 업그레이드한 에지 서버 A(21)가 속한 존 내의 에지 서버(22)들에 대하여만 선별을 진행할 수 있으나, 이에 한정되는 것은 아니다.
이와 같이, 클라우드 서버(10)가 필요한 에지 서버(20)를 선별하여, 해당 에지 서버(22)에 업데이트 준비 요청을 전송한다(S211).
각각의 선별된 에지 서버(22)에 해당 베이스 모델의 업그레이드가 발생하였음을 통지하고, 각각 선별된 에지 서버(22)들은 이와 같은 클라우드 서버(10)의 알림에 의해 해당 업그레이드한 베이스 모델의 수신을 준비한다.
이때, 클라우드 서버(10)는 선별된 에지 서버들(22)에 딥러닝 모델 변경 및 관련 로봇(30) 모델명을 통지하고, 업그레이드한 베이스 모델로의 업데이트를 준비할 것을 요청할 수 있다.
선별된 에지 서버(22)들은 현재 저장되어 있는 딥러닝 베이스 모델을 temp에 이동시켜 일시적으로 저장한다(S212).
다음으로 선별된 에지 서버(22)들은 클라우드 서버(10)에 준비 완료를 회신하고 업데이트 요청을 전송한다(S213).
클라우드 서버(10)는 각각의 선별된 에지 서버(22)에 업그레이드된 딥러닝 모델을 배포한다(S214).
선별된 에지 서버(22)는 업그레이드된 딥러닝 모델을 수신하면, 해당 모델을 저장하고 시운전한다.
해당 업그레이드된 딥러닝 모델의 시행에 오류가 없으면, temp를 폐기하여 이전 딥러닝 베이스 모델을 삭제한다(S215).
이와 같은 동작으로, 클라우드 서버(10)로 업데이트된 모델의 버전을 version2(V2)로 통보하고(S216), 딥러닝 베이스 모델의 업데이트를 수행하여 로봇(30)을 제어한다(S217).
이와 같이 선별된 에지 서버(22)는 클라우드 서버(10)로부터 수신된 베이스 모델을 튜닝하여 각각 실행하면서 클라우드 서버(10)로부터의 업그레이드 정보 및 선별 정보가 수신되면 해당 업그레이드된 모델을 수신하여 튜닝된 베이스 모델을 다음 버전으로 업데이트하고 업그레이드된 버전으로 해당 영역의 로봇(30)들을 관제할 수 있다.
또한, 클라우드 서버(0)는 업그레이드된 버전으로의 제어 시에도 도 7과 같이 소정 데이터 수의 카운트 및 에러 판단에 의해 각각 다음 버전으로 딥러닝하여 모델을 업그레이드할 수 있으며, 이 또한 에지 서버(20)와 공유 가능하다.
본 발명의 실시예는 클라우드 서버(10)에서 에지 서버(20)와 로봇(30)을 관제하면서 특정 환경에 최적화된 모델로 업그레이드를 수행할 수 있다.
또한, 두 개 이상의 에지 서버(20) 사이에서 업그레이드된 모델을 공유함으로써, 서로 각각의 환경에서 진화하면서 진화된 모델을 공유하여 연속적으로 업그레이드 가능하다.
본 발명에 따른 로봇 시스템은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 실시예에 따른 로봇 시스템의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
10: 클라우드 서버 20: 에지 서버
30: 로봇

Claims (20)

  1. 임의적으로 분할되어 있는 복수의 공간에 배치되어 있는 복수의 로봇;
    상기 복수의 로봇에 적용 가능한 제어 모델을 생성하고, 배포하는 클라우드 서버; 및
    각각의 공간에 할당되며, 상기 클라우드 서버와 송수신하며, 상기 제어 모델을 수신하여 상기 공간의 복수의 로봇을 제어하는 복수의 에지 서버
    를 포함하며,
    상기 클라우드 서버는 상기 복수의 로봇으로부터 실시간으로 에러값을 수신하고, 상기 에러값에 기초하여 업그레이드된 제어 모델을 생성하여 상기 에지 서버에 전송하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  2. 제1항에 있어서,
    상기 복수의 로봇은 서로 다른 종류의 로봇을 포함하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  3. 제2항에 있어서,
    상기 제어 모델은 다른 종류의 상기 로봇의 복수의 기능에 대한 각각의 제어 모델이 패키징되어 있는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  4. 제1항에 있어서,
    상기 에지 서버는 상기 제어 모델을 수신하고, 상기 에지 서버에 의해 관제되는 로봇의 종류에 따라 상기 제어 모델을 튜닝하여 실행하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  5. 제4항에 있어서,
    상기 클라우드 서버는 상기 에지 서버로부터 환경 정보를 수득하여 상기 제어 모델에 대한 딥러닝 에러 학습을 수행하여 업그레이드된 상기 제어 모델을 생성하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  6. 제5항에 있어서,
    상기 클라우드 서버는 상기 업그레이드된 제어 모델이 적용되는 다른 에지 서버를 선별하여 선별된 상기 에지 서버로 상기 업그레이드된 제어 모델을 전송하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  7. 제6항에 있어서,
    상기 클라우드 서버는 상기 업그레이드한 제어 모델이 적용되는 로봇이 포함되어 있는 상기 에지 서버를 선별하여 상기 업그레이드된 제어 모델을 전송하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  8. 제7항에 있어서,
    상기 클라우드 서버는 상기 제어 모델을 실행하면서, 상기 로봇으로부터 임계값을 초과하는 에러 값이 소정 수효 이상인 때, 상기 딥러닝 에러 학습을 수행하여 상기 업그레이드된 제어 모델을 생성하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  9. 제7항에 있어서,
    상기 클라우드 서버는 상기 로봇으로부터 임계값을 초과하는 에러 값이 소정 수효 이상이고, 상기 에러 값에 대한 사용자의 반응에 패턴이 탐색되는 경우, 새로운 기능에 대한 딥러닝 모델을 생성하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  10. 제1항에 있어서,
    상기 클라우드 서버는 복수의 상기 에지 서버를 분류하여 복수의 그룹으로 관리하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  11. 임의적으로 분할되어 있는 복수의 공간에 배치되어 있는 복수의 로봇을 제어하는 클라우드 기반 로봇 제어 방법에 있어서,
    클라우드 서버에서 상기 복수의 로봇에 적용 가능한 제어 베이스 모델을 생성하는 단계;
    각각의 공간에 할당되어 있는 에지 서버로 상기 제어 모델이 배포되는 단계;
    상기 에지 서버에서 상기 제어 모델로 상기 복수의 로봇을 제어하면서, 상기복수의 로봇으로부터 에러 값을 실시간으로 수신하는 단계;
    상기 클라우드 서버에서 특정 공간의 특정 로봇으로부터의 에러 값에 따라 상기 제어 모델을 상기 특정 공간에 대한 제어 모델로 업그레이드하는 단계; 및
    상기 특정 공간에 할당되어 있는 상기 에지 서버로 업그레이드한 상기 제어 모델을 배포하고, 상기 업그레이드한 제어 모델로 상기 특정 로봇을 제어하는 단계
    를 포함하는 클라우드 기반 로봇 제어 방법.
  12. 제11항에 있어서,
    상기 복수의 로봇은 서로 다른 종류의 로봇을 포함하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
  13. 제12항에 있어서,
    상기 제어 모델 생성 단계는, 다른 종류의 상기 로봇의 복수의 기능에 대한 각각의 제어 모델을 생성하여 패키징하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
  14. 제11항에 있어서,
    상기 에지 서버에서 상기 제어 모델을 수신하고, 상기 에지 서버에 의해 관제되는 로봇의 종류에 따라 상기 제어 베이스 모델을 튜닝하는 단계를 더 포함하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
  15. 제14항에 있어서,
    상기 업그레이드하는 단계는,
    상기 클라우드 서버에서 상기 에지 서버로부터의 환경 정보를 수득하여 상기 에지 서버가 할당된 공간에 대한 딥러닝 학습을 수행하여 업그레이드된 제어 모델을 생성하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
  16. 제15항에 있어서,
    상기 클라우드 서버에서 상기 업그레이드된 제어 모델이 적용되는 다른 에지 서버를 선별하는 단계, 및
    상기 선별된 다른 에지 서버로 상기 업그레이드된 제어 모델을 전송하는 단계
    를 포함하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
  17. 제16항에 있어서,
    상기 다른 에지 서버를 선별하는 단계는,
    상기 클라우드 서버가 상기 업그레이드한 제어 모델이 적용되는 로봇이 포함되어 있는 상기 에지 서버를 선별하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
  18. 제17항에 있어서,
    상기 업그레이드 단계는,
    제어 모델을 실행하면서 임계값을 초과하는 에러 값이 소정 수효 이상인 때, 상기 딥러닝 에러 학습을 수행하여 상기 업그레이드된 제어 모델을 생성하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
  19. 제17항에 있어서,
    상기 클라우드 서버는 상기 로봇으로부터 임계값을 초과하는 에러 값이 소정 수효 이상이고, 상기 에러 값에 대한 사용자의 반응에 패턴이 탐색되는 경우, 새로운 기능에 대한 딥러닝 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 클라우드 기반 로봇 시스템.
  20. 제11항에 있어서,
    상기 클라우드 서버에서 복수의 상기 에지 서버를 분류하여 그룹핑하는 단계를 더 포함하는 것을 특징으로 하는 클라우드 기반 로봇 제어 방법.
KR1020210096538A 2021-07-22 2021-07-22 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법 KR20230015145A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210096538A KR20230015145A (ko) 2021-07-22 2021-07-22 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법
PCT/KR2022/009756 WO2023003226A1 (ko) 2021-07-22 2022-07-06 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210096538A KR20230015145A (ko) 2021-07-22 2021-07-22 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20230015145A true KR20230015145A (ko) 2023-01-31

Family

ID=85109262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210096538A KR20230015145A (ko) 2021-07-22 2021-07-22 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR20230015145A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101692602B1 (ko) 2015-01-13 2017-01-03 서울시립대학교 산학협력단 클라우드 지식공유 기반 로봇 제어 시스템 및 제어방법
KR20190119225A (ko) 2018-04-03 2019-10-22 엘지전자 주식회사 각각의 인공지능을 탑재한 복수의 로봇을 포함하는 로봇 시스템
KR102044665B1 (ko) 2014-07-24 2019-11-13 엑스 디벨롭먼트 엘엘씨 로봇 시스템이 작업을 수행하기 위한 명령어를 생성하기 위한 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102044665B1 (ko) 2014-07-24 2019-11-13 엑스 디벨롭먼트 엘엘씨 로봇 시스템이 작업을 수행하기 위한 명령어를 생성하기 위한 방법 및 시스템
KR101692602B1 (ko) 2015-01-13 2017-01-03 서울시립대학교 산학협력단 클라우드 지식공유 기반 로봇 제어 시스템 및 제어방법
KR20190119225A (ko) 2018-04-03 2019-10-22 엘지전자 주식회사 각각의 인공지능을 탑재한 복수의 로봇을 포함하는 로봇 시스템

Similar Documents

Publication Publication Date Title
US8428777B1 (en) Methods and systems for distributing tasks among robotic devices
US10507577B2 (en) Methods and systems for generating instructions for a robotic system to carry out a task
Chaâri et al. Cyber-physical systems clouds: A survey
US10168674B1 (en) System and method for operator control of heterogeneous unmanned system teams
US20200233436A1 (en) Cloud based robotic control systems and methods
US8886829B1 (en) Methods and systems for robot cloud computing using slug trails
US11249492B2 (en) Methods and apparatus to facilitate autonomous navigation of robotic devices
Cupek et al. Autonomous guided vehicles for smart industries–the state-of-the-art and research challenges
Singhal et al. Managing a fleet of autonomous mobile robots (AMR) using cloud robotics platform
Pignaton de Freitas et al. Ontological concepts for information sharing in cloud robotics
Schwartz et al. Hybrid teams: flexible collaboration between humans, robots and virtual agents
US11433548B2 (en) Robot system and control method thereof
Şahinel et al. Human modeling and interaction in cyber-physical systems: A reference framework
Sacco et al. An architecture for adaptive task planning in support of IoT-based machine learning applications for disaster scenarios
US20210166084A1 (en) Artificial intelligence apparatus and method for recognizing object
US20220281106A1 (en) Control platform, control system, service providing system, service providing method, and control method
Ivanov et al. Software advances using n-agents wireless communication integration for optimization of surrounding recognition and robotic group dead reckoning
Arulraj et al. ecloud: A vision for the evolution of the edge-cloud continuum
KR20230015145A (ko) 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법
Krupitzer et al. RoCoSys: A framework for coordination of mobile IoT devices
KR20210042537A (ko) 대면적의 공간에서 로컬 영역별로 위치를 추정하는 방법 및 이를 구현하는 로봇과 클라우드 서버
KR20210073001A (ko) 로봇 및 로봇 시스템
KR20230015144A (ko) 에지 서버 및 클라우드 서버를 포함하는 이종 로봇 시스템 및 그의 제어 방법
JP7236356B2 (ja) 制御プラットフォーム及び制御システム
US20210343091A1 (en) Deported compute for teleoperation and autonomous systems

Legal Events

Date Code Title Description
A201 Request for examination