KR20210008605A - 이동 로봇 플랫폼 시스템 및 그 운용 방법 - Google Patents

이동 로봇 플랫폼 시스템 및 그 운용 방법 Download PDF

Info

Publication number
KR20210008605A
KR20210008605A KR1020190084919A KR20190084919A KR20210008605A KR 20210008605 A KR20210008605 A KR 20210008605A KR 1020190084919 A KR1020190084919 A KR 1020190084919A KR 20190084919 A KR20190084919 A KR 20190084919A KR 20210008605 A KR20210008605 A KR 20210008605A
Authority
KR
South Korea
Prior art keywords
mobile robot
information
platform system
driving
autonomous driving
Prior art date
Application number
KR1020190084919A
Other languages
English (en)
Other versions
KR102707052B1 (ko
Inventor
김병수
하인용
양우식
표윤석
Original Assignee
(주)로보티즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)로보티즈 filed Critical (주)로보티즈
Priority to KR1020190084919A priority Critical patent/KR102707052B1/ko
Priority to PCT/KR2020/008259 priority patent/WO2021010612A1/ko
Priority to US17/627,006 priority patent/US20220269269A1/en
Publication of KR20210008605A publication Critical patent/KR20210008605A/ko
Application granted granted Critical
Publication of KR102707052B1 publication Critical patent/KR102707052B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 이동 로봇 플랫폼 시스템 및 그 운용 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 이동 로봇 플랫폼 시스템 및 그 운용 방법은 다양한 환경에서의 강화 학습을 통한 자율주행능력이 진화할 수 있다.

Description

이동 로봇 플랫폼 시스템 및 그 운용 방법 {MOBILE ROBOT PLATFORM SYSTEM AND METHOD THEREOF}
본 발명은 이동 로봇 플랫폼 시스템 및 그 운용 방법에 관한 것으로, 보다 상세하게는 로봇의 목적에 따른 강화학습(Reinforcement Learning)을 기반으로 한 안전한 자율 주행과 동작이 가능한 이동 로봇 플랫폼 시스템 및 그 운용 방법에 관한 것이다.
4차 산업혁명 신기술(인공지능, 5G 등)이 로봇에 접목되면서 로봇의 스마트화가 비약적으로 진전되고 활용 분야도 급속도로 확대되고 있다. 특히 5G기반 클라우드 로봇, 배송 로봇 등 다양한 형태의 로봇들이 등장하고 있으며, 전세계적으로 로봇산업에 투자, M&A 등이 확대되는 등 유례없는 로봇 붐이 형성 중이다.
한편, 최근 노동집약적인 산업에서 높아지는 인건비 등의 문제를 해결하기 위한 다양한 활용 목적을 가진 이동 로봇 등의 관심이 확대되고 있다.
본 발명의 배경기술은 대한민국 등록특허 제10-0914904호에 개시되어 있다.
본 발명은 로봇의 활용 목적에 따라 충분한 강화 학습 데이터를 수집하면서 원격 제어와 자율 주행을 병행하여 안전하게 이동이 가능한 이동 로봇 플랫폼 시스템 및 그 운용 방법을 제공한다.
또한, 본 발명은 로봇의 활용 목적에 따라 다양한 환경에서 강화 학습을 통한 자율주행능력이 진화하는 이동 로봇 플랫폼 시스템 및 그 운용 방법을 제공한다.
본 발명의 일 측면에 따르면, 이동 로봇 플랫폼 시스템이 제공된다.
본 발명의 일 실시 예에 따른 이동 로봇 플랫폼 시스템은 활용 목적에 따라 이동 로봇의 원격 제어를 수행하는 원격 제어부, 미리 설정된 기준에 근거한 자율 주행 구간에서 상기 이동 로봇을 자율 주행하는 자율 주행부, 이동 로봇의 주행을 위한 데이터를 수집하는 데이터 수집부, 상기 수집한 데이터를 포함한 강화학습 데이터를 이용하여 상기 이동 로봇을 학습하는 학습부 및 상기 이동 로봇이 해당 목적지까지 이동할 때 상기 학습 정도에 근거하여 원격 제어 구간과 자율 주행 구간을 판단하는 판단부를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 이동 로봇 플랫폼 시스템은 로봇의 활용 목적에 따라 충분한 강화 학습 데이터를 수집하면서 원격 제어와 자율 주행을 병행하여 안전하게 이동이 가능하다.
본 발명의 일 실시 예에 따르면, 이동 로봇 플랫폼 시스템은 로봇의 활용 목적에 따라 다양한 환경에서 강화 학습을 통한 자율주행능력이 진화할 수 있다.
도 1 및 도 2는 본 발명의 일 실시 예에 따른 이동 로봇 플랫폼 시스템을 설명하기 위한 도면들.
도 3은 본 발명의 일 실시 예에 따른 이동 로봇 플랫폼의 운용방법을 설명하기 위한 도면.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 이동 로봇 플랫폼의 운용방법의 예시 도면들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 및 도 2는 본 발명의 일 실시 예에 따른 이동 로봇 플랫폼 시스템을 설명하기 위한 도면들이다.
도 1을 참조하면, 이동 로봇 플랫폼 시스템(10)은 최적화 서버(20), 원격 모니터링 및 제어 장치(30) 및 이동 로봇(40)을 포함한다.
이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)의 원격 제어 및 자율 주행을 병행하여 이동 로봇(40)을 점진적으로 강화 학습한다. 이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)을 원격으로 제어하는 동안 이동 로봇(40)의 강화 학습을 위한 학습 데이터를 수집한다. 이동 로봇 플랫폼 시스템(10)은 원격 제어 구간 및 자율 주행 구간을 미리 설정된 기준에 의해 설정하고 수집된 학습 데이터에 의한 강화 학습 진행 정도에 따라 원격 제어 구간을 점차적으로 줄이고 자율 주행 구간을 늘려 최종에는 원격 제어 구간을 최소화할 수 있다. 이동 로봇 플랫폼 시스템(10)은 예를 들면, 상품 배송, 음식 배송, 길안내, 쓰레기 수거 등 다양한 목적으로 실내외 구분없이 이동 로봇(40)을 원격 제어 및 자율 주행을 병행하여 이동 로봇(40)을 활용 목적에 따라 최적화할 수 있다.
최적화 서버(20)는 이동 로봇(40)을 강화 학습하여 이동 로봇(40)을 활용 목적에 따라 최적화한다. 최적화 서버(20)는 활용 목적에 따라 이동 로봇(40)을 원격 제어를 수행한다. 최적화 서버(20)는 원격 제어 수행 동안 자율 주행에 필요한 학습 데이터를 수집한다. 최적화 서버(20)는 미리 설정된 기준에 근거하여 학습 데이터를 수집하는 동안에도 자율 주행 구간을 설정하여 이동 로봇(40)을 자율 주행할 수 있다. 여기서, 미리 설정된 기준은 주행 난이도, 안전도 및 자율 주행 성공도 중 적어도 하나를 포함할 수 있다. 최적화 서버(20)는 수집된 학습 데이터를 이용하여 이동 로봇(40)을 활용 목적에 상응하도록 강화 학습한다. 최적화 서버(20)는 자율 주행 구간 및 자율 동작이 최대화될 때까지 강화 학습을 진행하여 이동 로봇(40)의 활용 목적을 달성할 수 있다.
도 2를 참조하면, 최적화 서버(20)는 원격 제어부(100), 자율 주행부(200), 데이터 수집부(300), 학습부(400) 및 판단부(500)를 포함한다.
원격 제어부(100)는 활용 목적에 따라 이동 로봇(40)의 원격 제어를 수행한다. 원격 제어부(100)는 후술할 원격 모니터링 및 제어 장치(30)에 미리 설정된 원격 제어 구간에서 이동 로봇(40)을 원격 제어할 것을 요청할 수 있다.
자율 주행부(200)는 미리 설정된 기준에 근거한 자율 주행 구간에서 이동 로봇(40)을 자율 주행한다. 여기서, 자율 주행 구간은 강화 학습 정도에 따라 점진적으로 확장될 수 있다.
데이터 수집부(300)는 이동 로봇(40)의 주행을 위한 데이터를 수집한다. 데이터 수집부(300)는 이동 로봇(40)이 주행할 때 수집되는 센서 데이터, 이동 로봇(40)의 병진, 회전, 정지 등의 동작 데이터, 이동 로봇의 이동 속도, 위치 등의 이동 데이터 및 이동 로봇(40)의 제어 정보 중 적어도 하나를 포함할 수 있다. 여기서, 센서 데이터는 카메라 센서 데이터, 라이다(LiDAR) 센서 데이터, 초음파 센서 데이터, ToF(Time of Flight) 센서 데이터, 관성 센서 데이터, 마이크 센서 데이터, GPS 센서 데이터, 전류 센서 데이터 및 온도 센서 데이터 중 적어도 하나를 포함할 수 있다. 더욱 상세하게는 카메라 센서 데이터는 주변 3차원 정보, 동적 장애물 정보(사람, 동물, 차량, 유모차 등), 정적 장애물 정보(건물, 간판, 나무, 쓰레기통 등), 도로 정보(차도, 보도, 자전거 도로, 차선, 교차로, 로터리 회전 여부 등), 표지판 인식 정보(제한 속도 표시, 횡단보도 표시, 전용 도로 표시 등), 날씨 정보(조도, 비, 눈, 안개 등), 인도 내 로봇에 주행 가능한 경로 정보 및 횡단보도에서 주행 가능한 경로 정보 중 적어도 하나를 포함할 수 있다. 라이다(LiDAR) 센서 데이터 또는 ToF 센서 데이터는 주변 건물의 외형 정보 및 거리 측정 정보 중 적어도 하나를 이용하여 수집할 수 있다. 초음파 센서 데이터는 주행 중 장애물 정보를 포함한다. 관성 센서 데이터는 주행시에 이동 로봇의 자세 정보를 포함한다. 마이크 센서 데이터는 주변 노이즈 정보를 포함한다. GPS 센서 데이터는 이동 로봇의 위치 정보를 포함한다. 전류 센서 데이터는 이동 로봇의 전력 소모 정보를 포함한다. 온도 센서 데이터는 로봇의 외부 온도 정보 및 내부 온도 정보 중 적어도 하나를 포함할 수 있다.
데이터 수집부(300)는 온라인 정보로 영상 정보를 수집하며, 이에 더하여 상황 별 주행 정보 및 다양한 센서 정보를 동시에 수집할 수 있다. 또한, 데이터 수집부(300) 특정 상황에서 영상 정보는 물론 이동 로봇 제어 정보 및 센서 정보를 연결 지어 데이터를 수집 및 관리할 수 있다.
데이터 수집부(300)는 이동 로봇(40)의 주행에 필요한 오프라인 정보를 미리 저장할 수 있다. 여기서, 주행에 필요한 오프라인 정보는 주행 경로에 대한 지도 데이터, 주변 환경 데이터, 기상 데이터 및 이벤트 데이터 중 적어도 하나를 포함할 수 있다. 또한, 데이터 수집부(300)는 자율 주행을 위한 강화 학습에 필요한 데이터를 미리 저장할 수 있다.
힉습부(400)는 수집하거나 미리 저장한 데이터를 이용하여 강화 학습 데이터를 생성한다. 학습부(400)는 더욱 상세하게 수집한 데이터로 도로 상태 데이터, 이동 로봇 위치 데이터 및 도로에 있는 다른 차량 또는 장애물 정보 중 적어도 하나를 포함한 주행 환경 상태 학습 데이터를 구성한다. 학습부(400)는 구성된 주행 환경 상태 데이터에 상응하는 병진, 회전, 정지 등의 이동 로봇(40)의 동작 학습 데이터를 설정한다. 또한, 학습부(400)는 충돌을 피하고, 연료 효율을 최대화하며 빠르고 안전한 이동 학습 데이터를 생성한다. 학습부(400)는 학습을 계속 반복하는 과정에서 최대 효과적인 이동 모델 즉 주행 학습 데이터를 생성한다. 학습부(400)는 원격 제어를 통한 이동 로봇(40)의 주행 학습 데이터와 자율 주행을 통한 이동 로봇(40)의 주행 학습 데이터를 모두 생성할 수 있다.
학습부(400)는 생성한 주행 학습 데이터를 이용하여 이동 로봇(40)에 대해 자율 주행을 위한 강화 학습을 수행한다. 여기서, 강화 학습은 주변 환경과의 상호 작용을 통해 학습하는 것이다. 학습부(400)는 원격 제어 시에 취득한 주행 학습 데이터를 우선하여 이용할 수 있다. 더욱 상세하게는 학습부(400)는 이동 로봇(40)이 평상시 자율 주행을 원칙으로 하되 학습도가 낮은 신규 지형 지물 지역, 횡단보도 및 유동 인구 밀집 지역과 같은 주행 난이도가 높은 위험 구역의 주행 시 원격 모니터링 및 제어 장치(30)에 의해 원격 제어 되는데 이 때에 취득한 정보를 우선할 수 있다. 또한, 학습부(400)는 신규 학습 데이터를 우선적으로 이용할 수 있다. 학습부(400)는 예를 들면, 신규 데이터라 하더라도 기존 데이터와의 비교를 통해 일정 부분 차지하게 되면 가중치를 주어 학습 우선도를 임의로 조정할 수 있다. 학습부(400)는 이동 로봇(40)의 활용 목적에 상응하는 동작 학습 데이터도 주행 학습 데이터와 유사한 방법으로 이동 로봇(40)을 강화 학습할 수 있다.
판단부(500)는 이동 로봇(40)이 해당 목적지까지 이동할 때 원격 제어 구간과 자율 주행 구간을 판단한다. 여기서, 원격 제어 구간은 원격 모니터링 및 제어 장치(30)를 통해 이동 로봇(40)이 원격 제어되는 구간이고 자율 주행 구간은 강화 학습을 통해 획득한 최적 이동 모델을 이용하여 이동 로봇(40)이 자율 주행하는 구간이다. 판단부(500)는 이동 지역의 주행 난이도, 안전도 및 자율 주행 성공도를 산출한다. 여기서, 주행 난이도는 경로 복잡성 정보, 지형 지물 정보, 직선 주행 구간, 보도 구간, 횡단 보도 구간 중 적어도 하나를 포함하는 경로 정보에 따라 산출될 수 있다. 안전도는 유동 인구 정보, 장애물 정보, 이벤트 정보 및 충돌 가능성 정보 중 적어도 하나를 이용하여 산출할 수 있다. 자율 주행 성공도는 자율 주행을 적용한 경우의 누적된 성공율을 이용하여 산출할 수 있다. 판단부(500)는 예를 들면, 횡단보도, 장애물 밀집 구역, 유동 인구 밀집 구역은 주행 난이도 또는 안전도를 높게 설정할 수 있다. 판단부(500)는 주행 난이도, 안전도 또는 자율 주행 성공도가 미리 설정된 범위를 벗어나는 경우, 원격 제어 구간으로 지정하여 이동 로봇을 제어할 수 있다. 판단부(500)는 예를 들면, 자율 주행 구간인 경우에도 신규 지형 지물 또는 신규 장소로 인식되면 원격 모니터링 및 제어 장치(30)가 이동 로봇을 제어하도록 할 수 있다.
원격 모니터링 및 제어 장치(30)는 이동 로봇(40)을 원격으로 모니터링하고, 원격으로 제어한다. 원격 모니터링 및 제어 장치(30)는 원격 조정자에 의해 입력된 값을 이동 로봇(40)에 실시간으로 전송하여 이동 로봇(40)을 움직인다. 원격 모니터링 및 제어 장치(30)는 이동 로봇(40)에 의해 획득한 주변 영상 데이터를 표시하는 디스플레이 장치를 포함할 수 있다. 원격 모니터링 및 제어 장치(30)는 원격 조정자에 의해 디스플레이 장치를 통해 이동 로봇(40)의 주변 환경을 인지하고 적절하게 제어할 수 있다.
이동 로봇(40)은 이동하며, 활용 목적에 기초하여 이동하며 동작을 수행한다. 이동 로봇(40)은 지상에서 지면 위를 주행하는 로봇을 예로 하고 있으나, 이에 한정하지 않으며, 드론, 수중 드론 등과 같이 하늘이나 수중에서 원격 또는 자율 주행하는 모든 형태의 이동 로봇을 포함할 수 있다.
이동 로봇(40)은 최적화 서버(20) 및 원격 모니터링 및 제어장치(30)와 통신을 통하여 연결되어 제어를 수행하며, 주변 환경을 모니터링한다. 이동 로봇(40)은 원격 주행 또는 자율 주행을 위한 데이터를 수집한다. 이동 로봇(40)은 다양한 센서 데이터, 이동 로봇(40)의 병진, 회전, 정지 등의 동작 데이터, 이동 로봇의 이동 속도, 위치 등의 이동 데이터 및 이동 로봇(40)의 제어 정보 중 적어도 하나를 수집하여 최적화 서버(40)로 전송할 수 있다. 여기서, 센서 데이터는 카메라 센서 데이터, 라이다(LiDAR) 센서 데이터, 초음파 센서 데이터, ToF(Time of Flight) 센서 데이터, 관성 센서 데이터, 마이크 센서 데이터, GPS 센서 데이터, 전류 센서 데이터 및 온도 센서 데이터 중 적어도 하나를 포함할 수 있다. 더욱 상세하게는 카메라 센서 데이터는 주변 3차원 정보, 동적 장애물 정보(사람, 동물, 차량, 유모차 등), 정적 장애물 정보(건물, 간판, 나무, 쓰레기통 등), 도로 정보(차도, 보도, 자전거 도로, 차선, 교차로, 로터리 회전 여부 등), 표지판 인식 정보(제한 속도 표시, 횡단보도 표시, 전용 도로 표시 등), 날씨 정보(조도, 비, 눈, 안개 등), 인도 내 로봇에 주행 가능한 경로 정보 및 횡단보도에서 주행 가능한 경로 정보 중 적어도 하나를 포함할 수 있다. 라이다(LiDAR) 센서 데이터 또는 ToF 센서 데이터는 주변 건물의 외형 정보 및 거리 측정 정보 중 적어도 하나를 이용하여 수집할 수 있다. 초음파 센서 데이터는 주행 중 장애물 정보를 포함한다. 관성 센서 데이터는 주행시에 이동 로봇의 자세 정보를 포함한다. 마이크 센서 데이터는 주변 노이즈 정보를 포함한다. GPS 센서 데이터는 이동 로봇의 위치 정보를 포함한다. 전류 센서 데이터는 이동 로봇의 전력 소모 정보를 포함한다. 온도 센서 데이터는 로봇의 외부 온도 정보 및 내부 온도 정보 중 적어도 하나를 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이동 로봇 시스템의 운용방법을 설명하기 위한 도면이다.
도 3을 참조하면, 이동 로봇 플랫폼 시스템(10)의 적용 단계는 원격 제어 단계(S310), 병행 단계(S320) 및 자율 주행 단계(S330)를 포함한다. 각 단계 동안 이동 로봇 플랫폼 시스템(10)은 강화 학습 모델을 이용해 원격 제어의 의존도를 점진적으로 낮추고 자율 주행 단계로 이동한다.
단계 S310에서 이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)의 원격 제어를 수행한다. 이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)의 활용 목적에 상응하는 주행 학습 데이터 및 동작 학습 데이터 중 적어도 하나를 수집한다. 이동 로봇 플랫폼 시스템(10)은 예를 들면 이동 로봇(40)을 길안내 목적으로 사용하고자 한다면 출발지에서 목적지까지 효율적이고 안전한 경로로 이동하도록 원격 제어를 수행하며 주행 학습 데이터를 수집할 수 있다. 이동 로봇 플랫폼 시스템(10)은 원격 제어 단계에서 이동 로봇(40) 1대에 대해 복수의 원격 조정자가 동시에 관여할 수 있다. 여기서, 복수의 원격 조정자들은 각기 다른 정해진 임무에 대해 원활하게 원격 제어를 수행하고 주행 학습 데이터를 수집할 수 있다. 이동 로봇 플랫폼 시스템(10)이 수집하는 주행 데이터는 이동 로봇(40)에 결합된 다양한 센서로 영상 정보 뿐만 아니라 기타 센서 정보를 동시에 수집하는 것은 물론 해당 상황에 원격 제어 정보도 함께 수집할 수 있다. 이에 로봇을 구동하는 국가 및 지역과의 상관도 및 로봇 구동의 목적에 의존하지 않고 상황과 연관된 학습이 가능하다.
단계 S320에서 이동 로봇 플랫폼 시스템(10)은 원격 제어 단계를 거쳐 유의미한 주행 데이터가 수집이 되면 주행 구간을 나누어서 원격 제어 구간과 자율 주행 구간을 구분하여 원격 제어 주행과 자율 주행을 병행한다. 이동 로봇 플랫폼 시스템(10)은 원격 제어 구간에는 여전히 원격 조정자의 원격 제어를 사용하고, 자율 구간에는 이동 로봇(40) 수집한 주행 데이터로 강화 학습하여 추출된 데이터로 자율 주행하고 행동하도록 한다. 이동 로봇 플랫폼 시스템(10)은 주행 난이도, 안전도 및 자율 주행 성공도 중 적어도 하나에 기초하여 자율 주행 구간을 설정할 수 있다. 이동 로봇 플랫폼 시스템(10)은 예를 들면, 보도 구간, 직선 주행 구간으로 자율 주행 구간으로 설정하기 시작해서 이외의 구간으로 자율 주행 구간을 점점 확장할 수 있다. 이동 로봇 플랫폼 시스템(10)은 강화 학습이 진행될수록 이동 로봇(40)은 원격 제어 구간은 줄어들고 자율 주행 구간은 늘어날 수 있다.
단계 S330에서 이동 로봇 플랫폼 시스템(10)은 원격 제어를 최소화하고 복수의 이동 로봇(40)들의 자율 주행을 관리한다. 이동 로봇 플랫폼 시스템(10)은 복수의 이동 로봇(40)을 모니터링하며 관리하며, 미리 설정된 상황, 예를 들면, 경로 구간이 신규로 추가된 구간 또는 예상치 못한 사고로 안전도가 낮게 산출되는 경우 자율 주행 구간이라 할지라도 이동 로봇(40)을 원격 제어할 수 있다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 이동 로봇 플랫폼의 운용방법을 활용한 예시 도면들이다.
도 4를 참조하면, 이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)을 물건 배송에 활용할 경우, 주행 난이도, 안전도 및 자율 주행 성공도 중 적어도 하나에 근거하여 원격 제어 구간 및 자율 주행 구간을 판단할 수 있다.
단계 S410에서 이동 로봇 플랫폼 시스템(10)은 목적지를 지정한다.
단계 S420에서 이동 로봇 플랫폼 시스템(10)은 목적지와 가까운 또는 요청 작업에 적합한 이동 로봇(40)을 배치한다. 예를 들면, 목적지 근처에 있는 타 작업이 완료된 이동 로봇(40) 또는 로봇 대기 장소에 있는 이동 로봇(40)을 배치한다.
단계 S430에서 이동 로봇 플랫폼 시스템(10)은 지정된 이동 로봇(40)의 위치에서 목적지까지 강화학습에 따른 최적의 경로로 주행 데이터를 산출한다.
단계 S440에서 이동 로봇 플랫폼 시스템(10)은 최적 경로 주행 데이터에 따라 이동 로봇(40)을 이동시킨다.
단계 S450에서 이동 로봇 플랫폼 시스템(10)은 이동 구간의 주행 난이도, 안전도 및 자율 주행 성공도 중 적어도 하나를 미리 설정된 기준과 비교한다.
단계 S460에서 이동 로봇 플랫폼 시스템(10)은 주행 난이도, 안전도 및 자율 주행 성공도 중 적어도 하나가 미리 설정된 기준보다 낮으면 자율 주행 데이터에 따라 로봇이 자율 주행한다.
단계 S480에서 실내 이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)에 목적지 도착하면 종료되고 다음의 목적지 및 작업을 지시 받는다.
단계 S470에서 이동 로봇 플랫폼 시스템(10)은 주행 난이도, 안전도 및 자율 주행 성공도 중 적어도 하나가 미리 설정된 기준보다 높으면 원격 제어 요청을 한다. 이동 로봇 플랫폼 시스템(10)은 또한 신규 지형 지물이 발견된 경우에도 원격 제어 요청을 할 수도 있다.
도 5를 참조하면, 이동 로봇 플랫폼 시스템(10)은 근거리 상품 배송 서비스를 목적으로 강화학습을 할 수 있다. 이동 로봇 플랫폼 시스템(10)은 물류 배송의 라스트 마일(창고에서 소비자에게 배송) 단계에 이용할 수 있다.
도 6을 참조하면, 이동 로봇 플랫폼 시스템(10)은 근거리 음식 배송 서비스를 목적으로 강화학습을 할 수 있다. 이동 로봇 플랫폼 시스템(10)은 매장으로 전달된 주문 정보를 확인하고 이동 로봇(40)을 지정한다. 이동 로봇 플랫폼 시스템(10)은 목적지까지 가장 효율적인 경로를 계산한다. 이동 로봇 플랫폼 시스템(10)은 지정된 이동 로봇(40)이 상품의 포장 완료 시간에 맞추어 매장으로 방문하여, 주문 상품을 수령한다. 이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)이 주문 상품을 적재한 후 주문자가 요청한 목적지로 배송을 진행한다. 이동 로봇 플랫폼 시스템(10)은 이동 로봇이 목적지까지 가장 효율적인 최적의 경로를 이동한다. 이동 로봇 플랫폼 시스템(10)은 이동 경로 중에서 주행 난이도, 안전도 및 자율 주행 성공도 중 적어도 하나가 미리 설정된 기준보다 높은 구간은 원격 모니터링 및 제어 장치(30)에 원격 제어할 것으로 요청한다. 이동 로봇 플랫폼 시스템(10)은 배송이 완료되면 다시 복귀 경로를 계산하고 이동 로봇(40)이 최적의 복귀 경로로 복귀한다. 이때 이동 로봇 플랫폼 시스템(10)은 이동 로봇(40)을 복귀시킬 수도 있고 다음 배송을 위하여 매장으로 이동할 수 있다. 이동 로봇 플랫폼 시스템(10)은 실시간으로 수집한 센서 데이터와 강화학습 모델로 최적의 이동 경로 및 적절한 행위를 계산한다.
상술한 이동 로봇 플랫폼 시스템 운용 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 이동 로봇 플랫폼
20: 최적화 서버
30: 원격 모니터링 및 제어 장치
40: 이동 로봇
100: 원격 제어부
200: 자율 주행부
300: 데이터 수집부
400: 학습부
500: 판단부

Claims (5)

  1. 다양한 환경에서의 강화 학습을 통한 자율주행능력이 진화하는 이동 로봇 플랫폼 시스템에 있어서,
    활용 목적에 따라 이동 로봇의 원격 제어를 수행하는 원격 제어부;
    미리 설정된 기준에 근거한 자율 주행 구간에서 상기 이동 로봇을 자율 주행하는 자율 주행부;
    상기 이동 로봇의 주행을 위한 데이터를 수집하는 데이터 수집부;
    상기 수집한 데이터를 포함한 강화학습 데이터를 이용하여 상기 이동 로봇을 학습하는 학습부; 및
    상기 이동 로봇이 해당 목적지까지 이동할 때 상기 학습 정도에 근거하여 원격 제어 구간과 자율 주행 구간을 판단하는 판단부를 포함하는 이동 로봇 플랫폼 시스템.
  2. 제1 항에 있어서,
    상기 미리 설정된 기준은
    주행 난이도, 안전도 또는 자율 주행 성공도 중 적어도 하나를 포함하는 이동 로봇 플랫폼 시스템.
  3. 제2 항에 있어서,
    상기 주행 난이도는 경로 복잡성 정보, 지형 지물 정보, 직선 주행 구간, 보도 구간 및 횡단 보도 구간 중 적어도 하나를 포함하는 경로 정보에 따라 산출되는 이동 로봇 플랫폼.
  4. 제 2 항에 있어서,
    상기 안전도는 유동 인구 정보, 장애물 정보, 이벤트 정보 및 충돌 가능성 정보 중 적어도 하나를 이용하여 산출되는 이동 로봇 플랫폼.
  5. 제 1 항에 있어서,
    상기 판단부는 자율 주행 구간인 경우에도 신규 지형 지물 또는 신규 장소로 인식되면 원격 제어 구간으로 변경하는 이동 로봇 플랫폼.

KR1020190084919A 2019-07-15 2019-07-15 이동 로봇 플랫폼 시스템 및 그 운용 방법 KR102707052B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190084919A KR102707052B1 (ko) 2019-07-15 2019-07-15 이동 로봇 플랫폼 시스템 및 그 운용 방법
PCT/KR2020/008259 WO2021010612A1 (ko) 2019-07-15 2020-06-25 이동 로봇 플랫폼 시스템 및 그 운용 방법
US17/627,006 US20220269269A1 (en) 2019-07-15 2020-06-25 Mobile robot platform system and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190084919A KR102707052B1 (ko) 2019-07-15 2019-07-15 이동 로봇 플랫폼 시스템 및 그 운용 방법

Publications (2)

Publication Number Publication Date
KR20210008605A true KR20210008605A (ko) 2021-01-25
KR102707052B1 KR102707052B1 (ko) 2024-09-19

Family

ID=74210896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190084919A KR102707052B1 (ko) 2019-07-15 2019-07-15 이동 로봇 플랫폼 시스템 및 그 운용 방법

Country Status (3)

Country Link
US (1) US20220269269A1 (ko)
KR (1) KR102707052B1 (ko)
WO (1) WO2021010612A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569181B1 (ko) 2022-11-21 2023-08-22 이재형 로봇 운용 체제(ros) 기반 로봇 통합 관리 시스템
KR20240076445A (ko) 2022-11-21 2024-05-30 이재형 로봇 운용 체제(ros) 기반 로봇 통합 관리 시스템
WO2024111680A1 (ko) * 2022-11-21 2024-05-30 엘지전자 주식회사 로봇, 로봇의 제어 시스템 및 로봇의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048414A (ko) * 2008-10-31 2010-05-11 한국전력공사 트랙형 이동 로봇을 이용하여 발전설비 시설물의 감시점검을 제공하기 위한 방법, 이동 로봇 시스템 및 운영방법
KR101953145B1 (ko) * 2018-02-26 2019-03-05 주식회사 도구공간 주행 로봇의 제어 방법 및 그 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5550671B2 (ja) * 2012-03-29 2014-07-16 株式会社デンソーアイティーラボラトリ 自律走行ロボット及び自律走行ロボットの走行制御方法
KR20160020278A (ko) * 2014-08-13 2016-02-23 국방과학연구소 원격통제 기반 무인로봇의 작동모드 할당 방법
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
AU2016336821A1 (en) * 2015-10-13 2018-05-31 Starship Technologies Oü Method and system for autonomous or semi-autonomous delivery
KR102567525B1 (ko) * 2016-11-17 2023-08-16 삼성전자주식회사 이동 로봇 시스템, 이동 로봇 및 이동 로봇 시스템의 제어 방법
US10723018B2 (en) * 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US11740624B2 (en) * 2017-08-17 2023-08-29 Sri International Advanced control system with multiple control paradigms
US11173605B2 (en) * 2018-02-26 2021-11-16 dogugonggan Co., Ltd. Method of controlling mobile robot, apparatus for supporting the method, and delivery system using mobile robot
US11741709B2 (en) * 2018-05-22 2023-08-29 Starship Technologies Oü Method and system for analyzing surroundings of an autonomous or semi-autonomous vehicle
KR102283022B1 (ko) * 2019-06-07 2021-07-28 엘지전자 주식회사 외부 영상에 기반한 로봇의 주행 방법과, 이를 구현하는 로봇 및 서버

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048414A (ko) * 2008-10-31 2010-05-11 한국전력공사 트랙형 이동 로봇을 이용하여 발전설비 시설물의 감시점검을 제공하기 위한 방법, 이동 로봇 시스템 및 운영방법
KR101953145B1 (ko) * 2018-02-26 2019-03-05 주식회사 도구공간 주행 로봇의 제어 방법 및 그 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569181B1 (ko) 2022-11-21 2023-08-22 이재형 로봇 운용 체제(ros) 기반 로봇 통합 관리 시스템
KR20240076445A (ko) 2022-11-21 2024-05-30 이재형 로봇 운용 체제(ros) 기반 로봇 통합 관리 시스템
WO2024111680A1 (ko) * 2022-11-21 2024-05-30 엘지전자 주식회사 로봇, 로봇의 제어 시스템 및 로봇의 제어 방법

Also Published As

Publication number Publication date
US20220269269A1 (en) 2022-08-25
WO2021010612A1 (ko) 2021-01-21
KR102707052B1 (ko) 2024-09-19

Similar Documents

Publication Publication Date Title
AU2021201661B2 (en) Systems and methods for determining path confidence for unmanned vehicles
US11754408B2 (en) Methods and systems for topological planning in autonomous driving
US20200207375A1 (en) All Mover Priors
US11636375B2 (en) Adversarial learning of driving behavior
US20220269269A1 (en) Mobile robot platform system and operation method therefor
US11740624B2 (en) Advanced control system with multiple control paradigms
US20220207883A1 (en) Information processing apparatus, information processing method, and program
KR102501489B1 (ko) 자율 주행 차량의 장애물 회피 궤적 계획
CN110998466A (zh) 用于无人驾驶交通工具的导航路径确定的系统和方法
US11880203B2 (en) Methods and system for predicting trajectories of uncertain road users by semantic segmentation of drivable area boundaries
CN114371716A (zh) 一种用于消防机器人的自动驾驶巡检方法
JP7256812B2 (ja) 自動運転車両の動的コスト関数の実現方法
CN114564027A (zh) 足式机器人的路径规划方法、电子设备及可读存储介质
KR20200063879A (ko) 인공지능 기반 환경 적응형 시간 동기화 군집 로봇 커버리지 방법 및 시스템
CN117075613A (zh) 无人车辆感知及避障方法、系统、计算机设备及存储介质
US12091045B2 (en) Method and system for assessing whether a vehicle is likely to leave an off-road parking area
US11755469B2 (en) System for executing structured tests across a fleet of autonomous vehicles
US20240241893A1 (en) Systems and methods for providing electronic maps
US20240075923A1 (en) Systems and methods for deweighting veering margins based on crossing time
US20230229826A1 (en) Method for assigning a lane relationship between an autonomous vehicle and other actors near an intersection
US20240011781A1 (en) Method and system for asynchronous negotiation of autonomous vehicle stop locations
US20240157973A1 (en) System and method for determining a trajectory for a vehicle
US20240233459A1 (en) Polygon Sequence Matching for Label Association in Autonomous Vehicle Logs
US20230415766A1 (en) Lane segment clustering using hybrid distance metrics
KR20230149709A (ko) 그리드에서의 양방향 경로 최적화

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant