KR20230011195A - 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치 - Google Patents

관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치 Download PDF

Info

Publication number
KR20230011195A
KR20230011195A KR1020210122187A KR20210122187A KR20230011195A KR 20230011195 A KR20230011195 A KR 20230011195A KR 1020210122187 A KR1020210122187 A KR 1020210122187A KR 20210122187 A KR20210122187 A KR 20210122187A KR 20230011195 A KR20230011195 A KR 20230011195A
Authority
KR
South Korea
Prior art keywords
data
sensing data
control device
control
path
Prior art date
Application number
KR1020210122187A
Other languages
English (en)
Other versions
KR102674203B1 (ko
Inventor
임용섭
김예온
권순
김제석
최경호
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to PCT/KR2022/008858 priority Critical patent/WO2023287052A1/ko
Publication of KR20230011195A publication Critical patent/KR20230011195A/ko
Application granted granted Critical
Publication of KR102674203B1 publication Critical patent/KR102674203B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G05D2201/0217—

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법은 제어 장치가 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 수신하는 단계, 상기 제어 장치가 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 수신하는 단계, 상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하는 단계, 상기 제어 장치가 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위험 요소가 있는지 판단하는 단계 및 상기 제어 장치가 상기 위험 요소가 있는 경우 상기 이동 객체가 상기 위험 요소를 회피할 수 있는 회피 경로를 결정하는 단계를 포함한다.

Description

관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치{AVOIDANCE ROUTING METHOD BASED ON MULTI-SENSOR FUSION USING CONTROL INFRASTRUCTURE AND CONTROL APPARATUS}
이하 설명하는 기술은 이동 객체에 대한 장애물 회피 경로를 제공하는 기법에 관한 것이다.
로봇 기술이 발전하면서 스스로 경로를 설정하고 이동하는 자율 주행 로봇(Autonomous Mobile Robot, 이하 AMR이라 함)이 다양한 분야에서 활용되고 있다. AMR은 내장한 센서들을 이용하여 주변 객체 및 환경을 탐색하면서 일정한 경로를 이동한다. AMR은 이동 경로에 장애물이 있는 경우 이를 회피하여 경로를 설정하고 주어진 작업을 계속 수행한다. 장애물 회피를 위한 다양한 접근법이 연구되고 있다.
한국등록특허 제10-1539270호
종래 기술은 AMR의 센서로부터 수집되는 정보에 기반하여 장애물을 탐지한다. 따라서, 종래 기술은 AMR이 탐지할 수 없는 사각 지대에 위치한 장애물이나 객체에 대해서는 능동적인 대처를 하기 어렵다.
이하 설명하는 기술은 관제 인프라가 수집하는 정보와 AMR의 센싱 데이터를 통합적으로 활용하여 AMR의 장애물을 예측하고 회피하는 방법을 제공하고자 한다.
관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법은 제어 장치가 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 수신하는 단계, 상기 제어 장치가 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 수신하는 단계, 상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하는 단계, 상기 제어 장치가 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위험 요소가 있는지 판단하는 단계 및 상기 제어 장치가 상기 위험 요소가 있는 경우 상기 이동 객체가 상기 위험 요소를 회피할 수 있는 회피 경로를 생성하는 단계를 포함한다.
관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치는 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 입력받고, 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 입력받는 입력장치, 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위치한 위험 요소를 회피할 수 있는 회피 경로를 생성하는 연산장치 및 상기 회피 경로를 상기 이동 객체에 송신하는 통신장치를 포함한다.
이하 설명하는 기술은 로봇이 수집하는 센싱 데이터 및 주변 환경에서 수집되는 데이터를 통합적으로 이용하여 사각 지대와 같이 로봇이 예측하기 어려운 환경에서도 안정한 경로 계획을 할 수 있다.
도 1은 관제 인프라를 이용한 AMR 제어 시스템의 예이다.
도 2는 AMR과 제어 장치의 동작을 설명하는 예이다.
도 3은 관심 영역의 센서 융합을 위한 그리드 퓨전(Grid fusion)의 예이다.
도 4는 다중 센서 데이터의 융합 과정에 대한 예이다.
도 5는 AMR 이동 경로 제어 과정의 예이다.
도 6은 AMR 이동 경로 제어 과정의 다른 예이다.
도 7은 AMR을 제어하는 제어 장치에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 일정한 경로로 이동하는 이동 객체에 대한 회피 경로를 결정한다. 이동 객체는 장치의 종류에 관계없이 센싱한 정보를 기반으로 자율적으로 이동 경로를 결정할 수 있는 장치를 의미한다. 따라서, 이동 객체는 자율 주행 차량, AMR 등을 포함하는 의미이다. 다만, 이하 설명의 편의를 위하여 AMR을 기준으로 설명한다.
이동 객체는 실내(공장, 공항, 공연장, 전시장, 식당 등)에서 이동하는 장치일 수 있다. 나아가, 이동 객체는 실외(도로, 기타 실외 공간 등)에서 이동하는 장치일 수도 있다.
도 1은 관제 인프라를 이용한 AMR 제어 시스템(100)의 예이다. 도 1은 관제 인프라를 통해 수집되는 정보를 활용한 AMR의 제어 시나리오의 예이다. 도 1은 공장과 같은 환경을 예시한다.
도 1은 두 개의 AMR(111 및 112)를 도시한다. AMR(111 및 112)은 내장한 센서를 이용하여 작업을 위한 일정한 경로로 이동한다. AMR(111 및 112)은 무선 통신으로 관제 인프라와 정보를 교환할 수 있다. AMR(111 및 112)은 다양한 형태 및 기계 구성으로 구현될 수 있다.
도 1의 관제 인프라는 카메라(121 및 122) 및 LiDAR(light detection and ranging, 131 및 132)를 도시한다. 관제 인프라의 센서는 레이더, 적외선 센서(근접 센서), 온도 감지 센서, 소리 센서 등을 더 포함할 수도 있다. 도 1은 대표적으로 카메라 및 LiDAR를 예시한 것이다. 카메라(121, 122)는 깊이 정보를 검출하는 모노 카메라, 스테레오 카메라 등일 수 있다.
제어 장치(150)는 AMR(111, 112) 및 관제 인프라의 센서(121, 122, 131, 132)로부터 센싱 데이터 및 정보를 수신할 수 있다. 제어 장치(150)는 현장에 배치된 장치일 수도 있고, 원격지에 있는 서버와 같은 장치일 수도 있다.
카메라(121) 및 LiDAR(131)는 동일한(중첩된) 영역에서 환경 정보를 수집한다. 카메라(121) 및 LiDAR(131)는 영역 A1에서의 정보를 수집한다. 영역 A1에는 고정 배치된 작업 로봇 R이 위치한다. 로봇 R은 팔을 움직이면서 일정한 반경에서 작업을 수행한다. AMR(111)은 일정한 작업(부품 이송 등)을 하면서 현재 A1 영역을 거치는 이동 경로를 갖고 있다. AMR(111)은 이동 경로에 배치된 장애물로 인하여 로봇 R을 검출할 수 없는 상황이다. 카메라(121) 및 LiDAR(131)는 로봇 R이 거동하는 동작을 센싱한 데이터를 제어 장치(150)에 전달한다. 또한, 카메라(121) 및 LiDAR(131)는 A1 영역에 접근하는 AMR(111)에 대한 정보를 제어 장치(150)에 전달할 수 있다. 또한, AMR(111)은 자신의 이동 경로 및 센싱 데이터를 제어 장치(150)에 전달한다. 제어 장치(150)는 AMR(111)로부터 수신한 데이터(위치 및 객체 검출 정보) 및 센서 장치(121, 131)로부터 수신한 센싱 데이터를 이용하여 AMR(111)이 영역 A1에서 로봇 R과 충돌할지 판단한다. 제어 장치(150)는 다중 센서들이 수집한 데이터들을 융합하여 AMR(111)의 충동 가능성을 판단한다.
제어 장치(150)는 AMR(111)이 로봇 R과 충돌할 가능성이 높다고 판단하면, 충돌 경고를 AMR(111)에 전송한다. AMR(111)은 경고를 수신하면 현재 위치에서 멈추거나 속도를 줄이는 동작을 할 수 있다. 나아가, (i)제어 장치(150)는 AMR(111)의 목표지점을 고려하면서 충동을 회피할 수 있는 새로운 경로를 설정하여 AMR(111)에 송신할 수 있다. 이 경우 AMR(112)은 갱신된 새로운 경로로 이동한다. (ii) 한편, AMR(111)은 충돌 경고(로봇 R의 위치 포함)를 받거나 제어 장치(150)로부터 전역 경로를 수신하면 목표 지점을 고려하여 충돌 회피 경로를 자신이 설정하여 이동할 수도 있다.
카메라(122) 및 LiDAR(132)는 동일한(중첩된) 영역에서 환경 정보를 수집한다. 카메라(122) 및 LiDAR(132)는 영역 A2에서의 정보를 수집한다. 영역 A2에는 장애물 뒤에 현장 인력 P가 위치한다. 현장 인력 P는 일정 부품을 나르는 작업을 하고 있다. AMR(112)은 일정한 작업(부품 이송 등)을 하면서 현재 A2 영역을 거치는 이동 경로를 갖고 있다. AMR(112)은 이동 경로에 배치된 장애물로 인하여 현장 인력 P를 검출할 수 없는 상황이다. 카메라(122) 및 LiDAR(132)는 현장 인력 P가 거동하는 동작을 센싱한 데이터를 제어 장치(150)에 전달한다. 또한, 카메라(122) 및 LiDAR(132)는 A2 영역에 접근하는 AMR(112)에 대한 정보를 제어 장치(150)에 전달할 수 있다. 또한, AMR(112)은 자신의 이동 경로 및 센싱 데이터를 제어 장치(150)에 전달한다. 제어 장치(150)는 AMR(112)로부터 수신한 데이터(위치 및 객체 검출 정보) 및 센서 장치(122, 132)로부터 수신한 센싱 데이터를 이용하여 AMR(112)이 영역 A2에서 현장 인력 P과 충돌할지 판단한다. 제어 장치(150)는 다중 센서들이 수집한 데이터들을 융합하여 AMR(112)의 충동 가능성을 판단한다.
제어 장치(150)는 AMR(112)이 현장 인력 P와 충돌할 가능성이 높다고 판단하면, 충돌 경고를 AMR(112)에 전송한다. AMR(112)은 경고를 수신하면 현재 위치에서 멈추거나 속도를 줄이는 동작을 할 수 있다. 나아가, (i) 제어 장치(150)는 AMR(112)의 목표지점을 고려하면서 충동을 회피할 수 있는 새로운 경로를 설정하여 AMR(112)에 송신할 수 있다. 이 경우 AMR(112)은 갱신된 새로운 경로로 이동한다. (ii) 한편, AMR(112)은 충돌 경고(현장 인력 P의 위치 포함)를 받거나 제어 장치(150)로부터 전역 경로를 수신하면 목표 지점을 고려하여 충돌 회피 경로를 자신이 설정하여 이동할 수도 있다.
도 1은 AMR이 현장에 배치된 장애물, 로봇, 인력에 충돌하는 시나리오를 도시하였다. 나아가, 관제 인프라를 이용한 AMR 제어 시스템(100)은 AMR의 이동 경로에 있는 장애물, 사람, 이동 객체, 바닥면의 균열 등과 같이 AMR의 이동에 장애를 주는 위험 요소를 사전에 모니터링하여 AMR이 안전하게 목표하는 지점에 이동하게 한다. 따라서, 제어 장치가 AMR의 센싱 데이터 및 관제 인프라의 센싱 데이터를 종합하여 판단하는 정보를 위험 정보라고 명명할 수 있다.
도 2는 AMR과 제어 장치의 동작을 설명하는 예이다. AMR 제어 시스템(200)은 AMR(210)과 제어 장치(220)로 구성될 수 있다.
도 2에서 AMR(210)은 온-보드 컴퓨터과 로봇 시스템 및 센서를 구성으로 도시하였다. 온-보드 컴퓨터는 AMR의 센싱 데이터 처리 및 제어 명령을 생성한다. 로봇 시스템 및 센서는 AMR의 기계 장치 및 센서를 의미한다. 센서는 수집한 데이터를 온-보드 컴퓨터에 전달한다. 센서는 새롭게 갱신된 상태를 온-보드 컴퓨터에 전달할 수 있다. 온-보드 컴퓨터는 AMR의 동작을 제어하는 명령을 로봇 시스템에 전달할 수 있다. 온-보드 컴퓨터는 AMR의 이동 경로를 로봇 시스템에 전달할 수 있다. AMR(210)은 로봇 정보(위치, 식별 정보 등)를 제어 장치(220)에 전달한다. AMR(210)은 통신 모듈을 이용하여 일정한 데이터를 제어 장치(220)에 전달할 수 있다. AMR(210)은 센서가 수집한 정보를 제어 장치(220)에 전달할 수 있다.
제어 장치(220)는 통신 모듈을 통해 AMR(210)이 전달하는 정보 및 데이터를 수신한다. 제어 장치(220)는 인프라 센서들(카메라, LiDAR 등)로부터 센싱 데이터를 수신한다. 제어 장치(220)는 인프라 센서들이 전달한 데이터를 처리하여 일정한 이미지 정보를 생성할 수 있다. 제어 장치(220)는 생성한 이미지에서 해당 영역에 배치된 특정 객체와 같은 타깃 정보를 추출할 수 있다. 제어 장치(220)는 타깃 정보(객체 위치, 영역 정보 등)를 기준으로 로봇의 센서들이 획득한 센싱 데이터 및 관제 인프라의 센서들이 획득한 센싱 데이터를 융합한다. 제어 장치(220)는 센싱 데이터들을 융합한 데이터에서 타깃의 위치 및 이동 경로를 산출할 수 있다. 제어 장치(220)는 산출한 정보(AMR 주변의 환경 정보)를 기준으로 장래 AMR 이동 경로에 위험(충돌 등)이 있는지 판단한다. 제어 장치(220)는 산출한 위험도가 임계값 이상이면 위험이 있다고 판단하여 위험 정보를 생성한다. 나아가, 제어 장치(220)는 AMR의 회피 경로를 설계할 수도 있다. 위험 정보는 장래 위험 가능성에 대한 정보로서 위험 요소가 있는 위치 및 위험 발생 시간을 포함할 수 있다. 제어 장치(220)는 위험 정보 내지 회피 경로를 AMR(210)에 전송할 수 있다.
제어 장치(220)는 로봇 정보를 기준으로 해당 로봇에 대한 위험 정보 내지 회피 경로를 생성한다. 현장에 다수의 로봇이 있는 경우, 제어 장치(220)는 로봇 별로 위험도를 산출하여 위험 정보 내지 회피 경로를 설정할 수 있다.
제어 장치는 관제 인프라의 센서들과 AMR의 센서들이 수집한 센싱 데이터를 융합하여 관심 영역에 배치된 특정 객체의 위치 내지 상태를 정확하게 판별한다. 도 3은 관심 영역의 센서 융합을 위한 그리드 퓨전(Grid fusion)의 예이다. 도 3은 카메라, LiDAR 및 레이더를 융합하는 예이다. 전술한 바와 같이 관제 인프라 및 AMR은 다른 센서들을 사용하여 추가적인 센싱 데이터로 수집할 수 있다. 예컨대, 관제 인프라는 지향성 마이크를 이용하여 일정한 영역에서 발생하는 소리로 객체의 동작 내지 위치를 검출할 수도 있다. 도 3에서 메인 그리드(main grid)는 관심 영역에 대하여 사전에 설정된 영역 정보에 기반하여 일정한 그리드 단위로 나눈 지도에 해당한다. 카메라, LiDAR 및 레이더 각각에 대하여 메인 그리드를 기준으로 검출된 정보를 나타낼 수 있다. 제어 장치는 메인 그리드를 기준으로 개별 센서들이 센싱한 정보를 융합하여 최종적인 정보를 산출할 수 있다. 센서 용합 과정은 이미 알려진 다양한 융합 알고리즘을 사용할 수 있다.
도 4는 다중 센서 데이터의 융합 과정(300)에 대한 예이다. 도 4는 제어 장치에서의 데이터 처리 및 센서 융합 과정의 예이다. 제어 장치는 다수의 센서 데이터를 수신한다. 도 4는 카메라 #1의 이미지 데이터, 카메라 #2의 이미지 데이터, 라이다 #1의 데이터 및 레이더 #1의 데이터를 예로 도시하였다. 제어 장치가 융합하는 센싱 데이터들은 관제 인프라의 센싱 데이터 및 AMR이 수집한 센싱 데이터들이다.
제어 장치는 센싱 데이터가 전달되는 패킷을 디코딩하고, 디코딩한 개별 센싱 데이터들을 시간을 기준으로 동기화한다(310). 제어 장치는 디코딩한 데이터를 융합할 순서(센서의 위치, 센서의 종류 등에 따라 결정 가능)에 따라 재정렬하고 저장한다(320). 이 과정이 다중 센서를 동기화하는 과정이다.
제어 장치는 센서 데이터별로 일정한 전처리를 수행할 수 있다(330). 전처리는 잡음 제거, 데이터 포맷 변환 등을 포함할 수 있다. 제어 장치는 도 3에서 설명한 것과 같이 그리드 융합을 통하여 센서 데이터를 융합한다(340). 이 과정이 센서 융합 과정에 해당한다. 나아가, 제어 장치는 융합된 센서 데이터를 기준으로 관심 영역에서 특정 객체를 검출할 수 있다(350). 객체 검출은 다양한 검출 알고리즘 중 어느 하나가 사용될 수 있다.
도 5는 AMR 이동 경로 제어 과정(400)의 예이다.
AMR은 일정한 경로를 이동하면서 센싱 데이터를 수집한다(411). 관제 인프라의 센서들은 센싱 데이터를 수집한다(412).
제어 장치는 AMR의 센싱 데이터 및 관제 인프라의 센싱 데이터를 융합하고, 객체를 검출한다(420). 이 과정은 도 4에서 설명한 과정과 같다.
제어 장치는 관심 영역(사각 지대)에서 AMR의 위험 여부를 판단한다(430). 제어 장치는 융합 데이터를 이용하여 AMR의 이동 경로에 위험 요소(예컨대, 충돌 가능한 객체)가 있는지 판단한다. 장래 이동 경로에 위험 요소가 있어서 AMR에 위험 상태가 예상된다면(440의 YES), 제어 장치는 위험에 대한 경고 정보를 AMR에 전송할 수 있다(450). 경고 정보는 위험 상태가 예상되는 위치(지점 내지 영역)를 포함할 수 있다. 나아가, 경고 정보는 위험 상태가 예상되는 시간을 포함할 수도 있다.
경고 정보를 수신한 AMR은 위험 상태가 발생한 영역을 회피할 수 있는 회피 경로를 설정하고, 설정한 회피 경로로 이동할 수 있다(460).
제어 장치는 해당 AMR의 작업이 종료(목적지 도착, 작업 종료 메시지 수신, 전원 오프 등)되는지 모니터링한다(470). AMR의 작업이 종료될 때까지 이와 같은 과정이 반복되게 된다.
도 6은 AMR 이동 경로 제어 과정(500)의 다른 예이다. 도 6은 관제 인프라와 AMR에서의 동작을 개별적으로 도시한다. 도 6에서 제어 장치는 제어 서버를 예로 도시하였다. 제어 서버는 관제 인프라에 포함되는 장치일 수도 있다. 또는 제어 서버는 관제 인프라에서 전달하는 정보를 기준으로 AMR의 이동 경로를 제어하는 별도의 장치일 수도 있다. 도 6은 관제 인프라와 제어 서버를 별도의 객체로 구분한 예이다.
인프라 센서들이 동작하면서 센싱 데이터를 수집한다(511). 인프라 센서 중 카메라와 같은 장치가 이미지 정보를 생성한다(512). 인프라 센서 중 카메라, LiDAR, 레이더와 같이 객체 위치 검출이 가능한 장치는 AMR의 위치를 검출할 수 있다(513). 이때 AMR의 위치는 대략적인 위치일 수도 있다. 한편, AMR의 위치는 제어 서버가 센서 데이터를 수신하여 확인할 수도 있다.
제어 서버는 관제 인프라가 생성한 이미지 정보를 일정하게 전처리할 수 있다(521). 제어 서버는 이미지 정보에서 객체를 탐지할 수 있다(522). 제어 서버는 일정한 관심 영역에서 객체가 있는지 탐지할 수 있다. 여기서 제어 서버는 AMR의 정확한 이동 경로에 관계없이 데이터를 수집하는 관심 영역에서 AMR과 함께 다른 특정 객체가 검출되는지 판단할 수 있다.
제어 서버는 다양한 영상 처리 기법을 이용하여 객체를 탐지할 수 있다. 예컨대, 제어 서버는 입력 영상에서 객체를 탐지하는 인공신경망 모델을 이용하여 특정 객체를 탐지할 수 있다. 객체가 존재한다면(523의 YES), 제어 서버는 다중 센서 융합 과정을 진행한다.
AMR은 이동하면서 센서를 이용하여 센싱 데이터를 수집한다(531). AMR은 IMU(inertial measurement unit)와 같은 센서 장치를 이용하여 자신의 위치 정보를 실시간을 생성할 수 있다(332). 한편, AMR의 위치 정보는 다양한 실내 측위 기법을 이용하여 결정될 수도 있다. 나아가, AMR의 위치 정보는 GPS와 같은 장치를 이용하여 결정될 수도 있다.
AMR은 센싱 데이터(영상 데이터, 라이더 데이터, 레이더 데이터 등)를 이용하여 이동 경로에 장애물이 있는지 검출할 수 있다(543). AMR은 일정한 관심 영역에서 객체가 있는지 탐지할 수 있다. AMR은 다양한 객체 검출 알고리즘을 이용하여 장애물이 존재하는지 판단할 수 있다. 예컨대, AMR은 인공신경망 모델을 이용하여 장애물을 검출할 수 있다. 장애물이 존재한다면(551의 YES), 제어 서버에 위험 상태 판단을 요청할 수 있다.
제어 서버는 (i) 관제 인프라가 센싱한 데이터 기준으로 관심 영역 또는 AMR의 이동 경로에서 객체가 검출되는 경우 및/또는 (ii) AMR이 이동 경로에 장애물이 있다고 알려 주는 경우에 다중 센서 융합을 진행할 수 있다. 제어 서버는 관제 인프라의 센싱 데이터들 및 AMR의 센싱 데이터를 일정하게 동기화한다(561). 이때 동기화는 시간 동기화 및/또는 공간 동기화를 포함한다. 제어 서버는 센싱 데이터가 생성된 시간을 기준으로 데이터를 동기화할 수 있다. 나아가, 제어 서버는 관제 인프라가 검출한 AMR의 위치(제1 위치) 및/또는 AMR이 전송한 자신의 위치(제2 위치)를 기준으로 AMR의 위치를 결정할 수 있다. 제어 서버는 제1 위치와 제2 위치를 기준으로 AMR의 센싱 데이터와 관제 인프라의 센싱 데이터를 공간 기준으로 동기화할 수도 있다.
제어 서버는 동기화된 센싱 데이터를 융합한다(562).
제어 서버는 AMR의 위치/이동 경로(진행 방향)를 기준으로 융합된 센싱 데이터에서 위험 상태를 유발할 수 있는 객체가 있는지 검출할 수 있다. 제어 서버는 객체 검출을 위한 다양한 알고리즘 중 어느 하나를 이용하여 위험 상태를 유발하는 객체를 검출할 수 있다. 예컨대, 제어 서버는 인공신경망 모델을 이용하여 위험 상태를 유발하는 객체를 검출할 수 있다.
제어 서버는 AMR의 이동 경로에서 위험 상태가 예측되면, AMR이 해당 지점 내지 영역을 회피할 수 있는 회피 경로를 생성할 수 있다(571). 제어 서버가 생성하는 회피 경로가 최종적인 경로가 될 수 있다. 나아가, 제어 서버는 AMR이 목표하는 지점까지의 전역 경로(global path)를 생성할 수도 있다. 전역 경로는 현재 위치에서 목표 지점까지의 중요 경로만으로 구성될 수 있다.
이후, AMR은 제어 서버가 전송한 회피 경로를 사용하여 이동할 수 있다. 나아가, AMR은 제어 서버가 전송한 전역 경로를 기준으로 이동하면서 실시간으로 센싱 데이터를 이용하여 현재 위치 기준의 지역 경로(local path)를 설정할 수도 있다(581).
도 7은 AMR을 제어하는 제어 장치(600)에 대한 예이다. 제어 장치(600)는 관제 인프라의 센싱 데이터와 AMR의 센싱 데이터를 통합적으로 이용하여 AMR의 회피 경로를 결정한다. 제어 장치(600)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 제어 장치(600)는 PC, 스마트 기기, 네트워크상의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.
제어 장치(600)는 저장장치(610), 메모리(620), 연산장치(630), 인터페이스 장치(640), 통신장치(650) 및 출력장치(660)를 포함할 수 있다.
저장장치(610)는 데이터 처리에 필요한 프로그램 내지 소스 코드 등을 저장할 수 있다.
저장장치(610)는 이미지 처리 프로그램, 객체 검출 프로그램, 경로 설정 프로그램 등을 저장할 수 있다.
저장장치(610)는 관제 인프라의 센싱 데이터 및 AMR의 센싱 데이터를 저장할 수 있다.
저장장치(610)는 AMR의 회피 경로를 저장할 수 있다.
메모리(620)는 제어 장치(600)가 AMR의 회피 경로를 결정하는 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(640)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다.
인터페이스 장치(640)는 관제 인프라로부터 센싱 데이터를 입력받을 수 있다. 인터페이스 장치(640)는 관제 인프라로부터 AMR의 위치 정보를 입력받을 수도 있다.
인터페이스 장치(640)는 사용자로부터 일정한 제어 명령을 입력받을 수도 있다.
통신장치(650)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다.
통신장치(650)는 관제 인프라 및/또는 AMR로부터 센싱 데이터를 수신할 수 있다.
통신장치(650)는 관제 인프라로부터 AMR의 위치 정보를 수신할 수도 있다.
통신장치(650)는 AMR로부터 AMR의 위치 정보를 수신할 수도 있다.
통신장치(650)는 AMR로부터 회피 경로 설정 요청 메시지를 수신할 수도 있다.
통신장치(650)는 생성한 최종 회피 경로 또는 전역 회피 경로를 AMR로 송신할 수 있다.
통신장치(650) 내지 인터페이스 장치(640)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신장치(650) 내지 인터페이스 장치(640)를 입출력 장치라고 할 수 있다. 또한, 정보 입력 가능만을 고려하면 통신장치(650) 내지 인터페이스 장치(640)를 입력장치라고 명명할 수도 있다.
출력장치(660)는 일정한 정보를 출력하는 장치이다. 출력장치(660)는 데이터 처리 과정에 필요한 인터페이스, 이동 경로 등을 출력할 수 있다.
연산 장치(630)는 관제 인프라의 센싱 데이터를 전처리할 수 있다.
연산 장치(630)는 관제 인프라의 이미지 정보를 기준으로 객체를 검출할 수 있다.
연산 장치(630)는 AMR의 센싱 데이터를 전처리할 수 있다.
연산 장치(630)는 관제 인프라의 센싱 데이터와 AMR의 센싱 데이터를 융합할 수 있다. 융합 과정은 전술한 바와 같다. 연산 장치(630)는 개별 센싱 데이터를 일정하게 전처리하고, 동기화할 수 있다. 또한, 연산 장치(630)는 융합 데이터에서 이동 경로에 위험 요소가 있는지 검출할 수 있다.
연산 장치(630)는 AMR이 위험 요소를 회피하도록 회피 경로를 생성할 수 있다. 연산 장치(630)는 전역 회피 경로를 생성할 수도 있다.
연산 장치(630)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
또한, 상술한 바와 같은 이동 객체의 회피 경로 결정 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (10)

  1. 제어 장치가 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 수신하는 단계;
    상기 제어 장치가 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 수신하는 단계;
    상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하는 단계;
    상기 제어 장치가 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위험 요소가 있는지 판단하는 단계; 및
    상기 제어 장치가 상기 위험 요소가 있는 경우 상기 이동 객체가 상기 위험 요소를 회피할 수 있는 회피 경로를 생성하는 단계를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  2. 제1항에 있어서,
    상기 제어 장치가 상기 제1 센싱 데이터 및 상기 제2 센싱 데이터 중 적어도 하나를 기준으로 상기 이동 객체의 이동 경로가 포함되는 관심 영역에 특정 객체가 있는 경우 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  3. 제1항에 있어서,
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터는 각각 영상 데이터, 라이더 데이터 및 레이더 데이터 중 복수의 데이터를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  4. 제1항에 있어서,
    상기 제어 장치는 상기 관제 인프라로부터 상기 이동 객체의 제1 위치 정보를 수신하고, 상기 이동 객체로부터 자신의 제2 위치 정보를 수신하고, 상기 제1 위치 정보와 상기 제2 위치 정보를 기준으로 상기 제1 센싱 데이터와 상기 제2 센싱 데이터를 동기화하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  5. 제1항에 있어서,
    상기 제어 장치는 상기 위험 요소를 회피할 수 있는 전역 경로를 상기 이동 객체에 전달하고, 상기 이동 객체는 상기 전역 경로를 기준으로 실시간으로 상기 위험 요소를 회피할 수 있는 지역 경로를 설정하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로 생성 방법.
  6. 관제 인프라의 센서들로부터 관심 영역에 대한 제1 센싱 데이터를 입력받고, 설정된 경로로 이동하는 이동 객체로부터 주변 영역에 대한 제2 센싱 데이터를 입력받는 입력장치;
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 이용하여 상기 이동 객체가 이동할 영역에 위치한 위험 요소를 회피할 수 있는 회피 경로를 생성하는 연산장치; 및
    상기 회피 경로를 상기 이동 객체에 송신하는 통신장치를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  7. 제6항에 있어서,
    상기 연산장치는
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터 중 적어도 하나를 기준으로 상기 이동 객체의 이동 경로가 포함되는 관심 영역에 특정 객체가 있는 경우 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  8. 제6항에 있어서,
    상기 제1 센싱 데이터 및 상기 제2 센싱 데이터는 각각 영상 데이터, 라이더 데이터 및 레이더 데이터 중 복수의 데이터를 포함하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  9. 제6항에 있어서,
    상기 연산장치는
    상기 관제 인프라로부터 상기 이동 객체의 제1 위치 정보를 수신하고, 상기 이동 객체로부터 자신의 제2 위치 정보를 수신하고, 상기 제1 위치 정보와 상기 제2 위치 정보를 기준으로 상기 제1 센싱 데이터와 상기 제2 센싱 데이터를 동기화한 후 상기 융합 데이터를 생성하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
  10. 제6항에 있어서,
    상기 통신 장치는 상기 위험 요소를 회피할 수 있는 전역 경로를 상기 이동 객체에 송신하고, 상기 이동 객체는 상기 전역 경로를 기준으로 실시간으로 상기 위험 요소를 회피할 수 있는 지역 경로를 설정하는 관제 인프라를 이용한 다중 센서 용합 기반의 회피 경로를 제공하는 제어 장치.
KR1020210122187A 2021-07-12 2021-09-14 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치 KR102674203B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/008858 WO2023287052A1 (ko) 2021-07-12 2022-06-22 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210090977 2021-07-12
KR1020210090977 2021-07-12

Publications (2)

Publication Number Publication Date
KR20230011195A true KR20230011195A (ko) 2023-01-20
KR102674203B1 KR102674203B1 (ko) 2024-06-12

Family

ID=85108658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210122187A KR102674203B1 (ko) 2021-07-12 2021-09-14 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치

Country Status (1)

Country Link
KR (1) KR102674203B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130094533A (ko) * 2012-02-16 2013-08-26 인하대학교 산학협력단 이동로봇의 충돌방지 시스템 및 방법
KR20140054755A (ko) * 2012-10-29 2014-05-09 한국전자통신연구원 환경 정보를 반영하는 센서 융합 시스템 및 그 방법
KR101539270B1 (ko) 2015-02-27 2015-07-24 군산대학교산학협력단 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇
JP2018097710A (ja) * 2016-12-15 2018-06-21 富士ゼロックス株式会社 ロボット制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130094533A (ko) * 2012-02-16 2013-08-26 인하대학교 산학협력단 이동로봇의 충돌방지 시스템 및 방법
KR20140054755A (ko) * 2012-10-29 2014-05-09 한국전자통신연구원 환경 정보를 반영하는 센서 융합 시스템 및 그 방법
KR101539270B1 (ko) 2015-02-27 2015-07-24 군산대학교산학협력단 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇
JP2018097710A (ja) * 2016-12-15 2018-06-21 富士ゼロックス株式会社 ロボット制御システム

Also Published As

Publication number Publication date
KR102674203B1 (ko) 2024-06-12

Similar Documents

Publication Publication Date Title
JP7353747B2 (ja) 情報処理装置、システム、方法、およびプログラム
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
US20180259975A1 (en) Driverless Transport System
CN108020229B (zh) 用于定位车辆的方法
CN103576686A (zh) 一种机器人自主导引及避障的方法
JPWO2019131198A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
WO2019124343A1 (ja) 移動体
KR20210063791A (ko) 장애물의 특성을 고려한 dqn 및 slam 기반의 맵리스 내비게이션 시스템 및 그 처리 방법
KR102699336B1 (ko) 로봇 주행 제어 방법 및 시스템
JP7147142B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JPWO2019054206A1 (ja) 移動体誘導システム
KR20060083345A (ko) 확장된 충돌 지도를 이용한 직교 교차로 상에서의 다개체로봇 무충돌 시스템 및 제어 방법
Fusic S et al. A review of perception-based navigation system for autonomous mobile robots
KR102674203B1 (ko) 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
JP7160257B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US12105519B2 (en) Method for estimating positioning of moving object by using big cell grid map, recording medium in which program for implementing same is stored, and computer program stored in medium in order to implement same
Choi et al. Two tier search scheme using micro UAV swarm
WO2023287052A1 (ko) 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
Schueftan et al. Indoor mapping using SLAM for applications in Flexible Manufacturing Systems
Chang et al. System Development and Integration of Unmanned Aerial Vehicle Navigation Techniques for Indoor Environments
US10403139B2 (en) Local navigation system for vehicle navigation
KR102651108B1 (ko) 위치 추정 장치 및 방법
KR102485644B1 (ko) 통신 지연에 강인한 로봇이 주행하는 건물
KR102647612B1 (ko) 비상 상황 발생 시 공간 내 인원에게 대피 경로를 안내하는 로봇 및 로봇 제어 방법
Tuna et al. Autonomous intruder detection system using wireless networked mobile robots

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant