KR102119161B1 - 운송 로봇의 실내 위치 인식 시스템 - Google Patents
운송 로봇의 실내 위치 인식 시스템 Download PDFInfo
- Publication number
- KR102119161B1 KR102119161B1 KR1020180123398A KR20180123398A KR102119161B1 KR 102119161 B1 KR102119161 B1 KR 102119161B1 KR 1020180123398 A KR1020180123398 A KR 1020180123398A KR 20180123398 A KR20180123398 A KR 20180123398A KR 102119161 B1 KR102119161 B1 KR 102119161B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- transport robot
- information
- coordinate
- location
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명의 일 실시예에 따른 운송 로봇의 위치 제어 서버는, 운송 로봇 및 모니터링 장치(CCTV)와 통신하는 통신 인터페이스, 상기 통신 인터페이스가 상기 운송 로봇으로부터 수신한 주행 정보 및 상기 모니터링 장치(CCTV)로부터 수신한 상기 운송 로봇을 포함하는 공간 이미지 데이터를 저장하는 메모리, 상기 메모리에 저장된 주행 정보 및 공간 이미지 데이터를 기초로 상기 운송 로봇의 위치 좌표를 추정하고, 주행 오차를 분석하는 좌표 분석부 및 상기 통신 인터페이스, 상기 메모리, 상기 좌표 분석부를 제어하는 제어부를 포함한다.
Description
본 발명은 운송 로봇의 실내 위치 인식 시스템에 관한 것으로, 보다 자세하게는 실내 공간에 배치된 CCTV의 영상 및 운송 로봇의 주행 정보를 활용하여 운송 로봇이 주행하는 공간의 위치 정보를 딥러닝(Deep Learning)의 기계 학습 알고리즘을 통해 파악하고, 운송 로봇에 정확한 실내 위치 정보를 제공할 수 있는 서버 및 이를 포함하는 실내 위치 인식 시스템에 관한 것이다.
일반적으로, 이동 로봇이란 사용자의 조작 없이도 주행하고자 하는 영역을 자율적으로 이동하면서 작업을 수행하는 장치로서, 다양한 기술 분야에 적용되고 있으며, 특히 물류 분야에서 이익의 극대화 및 효율성 증가를 위해 물품을 운송해주는 운송 로봇이 사용되고 있다.
이러한 운송 로봇이 자율적으로 주행하는 경우, 시작 지점부터 목표 지점까지의 경로 계획(Path Planning)을 생성하여, 물류 센터 내 많은 물건들을 빠르고 안전하게 이동하는 것이 운송 로봇 동작의 핵심이 된다.
이를 위해, 운송 로봇이 실시간으로 자기 위치를 파악하고, 예정된 경로를 추적하는 다양한 기술이 개발되어 왔으며, 대표적으로 운송 로봇에 엔코더, 적외선, 초음파 등의 센서를 장착하여 운송 로봇의 위치 변화를 측정하는 오도메트리(Odometry) 방식이 사용되고 있다.
그러나 외부로부터 수신되는 정보 없이 운송 로봇이 자율 주행하는 경우, 주행 경로면 재질에 따라 운송 로봇의 밀림이 발생하거나, 운송 로봇에 부착된 센서의 오작동, 고장 등 다양한 이유로 인해, 필연적으로 주행 경로의 오차가 발생하게 된다.
따라서 실내 공간 내를 자율 주행하는 운송 로봇에게 정확한 위치 정보를 제공하여 운송 로봇의 이탈을 방지하는 새로운 기술 및 시스템의 개발이 요구되며, 본 발명은 이에 관한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 모니터링 장치(CCTV)를 이용하여 축적된 이미지를 통해 운송 로봇의 이미지와 이동 경로를 학습하고, 다양한 형태의 운송 로봇을 인식하여, 운송 로봇에게 최적의 주행 경로를 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 실내 공간을 촬영하는 모니터링 장치(CCTV)를 이용하여 운송 로봇의 주행 경로를 학습하고 실시간으로 주행 경로를 설정하는 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 운송 로봇의 위치 제어 서버는, 운송 로봇 및 모니터링 장치(CCTV)와 통신하는 통신 인터페이스, 상기 통신 인터페이스가 상기 운송 로봇으로부터 수신한 주행 정보 및 상기 모니터링 장치(CCTV)로부터 수신한 상기 운송 로봇을 포함하는 공간 이미지 데이터를 저장하는 메모리, 상기 메모리에 저장된 주행 정보 및 공간 이미지 데이터를 기초로 상기 운송 로봇의 위치 좌표를 추정하고, 주행 오차를 분석하는 좌표 분석부 및 상기 통신 인터페이스, 상기 메모리, 상기 좌표 분석부를 제어하는 제어부를 포함한다.
일 실시예에 따르면, 상기 공간 이미지 데이터에서 운송 로봇의 형태를 분석하여 운송 로봇을 식별하고, 식별된 운송 로봇이 존재하는 공간 이미지 데이터와 상기 식별된 운송 로봇으로부터 수신한 주행 정보를 지속적으로 매핑하여, 상기 모니터링 장치(CCTV)가 촬영하는 공간 이미지 데이터의 공간 좌표를 생성하는 좌표 매핑부를 더 포함할 수 있다.
일 실시예에 따르면, 상기 좌표 분석부는, 상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 경우, 상기 공간 좌표를 기초로 상기 운송 로봇의 위치 좌표를 추정할 수 있다.
일 실시예에 따르면, 상기 좌표 분석부는, 상기 추정된 위치 좌표와 상기 위치 정보 요청 신호를 송신한 운송 로봇으로부터 수신한 위치 좌표를 비교하여 좌표 오차를 분석하고, 분석 결과에 따라, 좌표 오차가 존재하는 경우, 상기 통신 인터페이스가, 상기 좌표 오차를 상기 위치 정보 요청 신호를 송신한 운송 로봇으로 송신할 수 있다.
일 실시예에 따르면, 상기 통신 인터페이스가, 상기 운송 로봇으로부터 제1 공간을 주행하는 제1 경로 계획을 수신하는 경우, 상기 좌표 분석부가, 상기 메모리에 기 저장된 상기 제1 공간에 대한 공간 좌표를 기준으로 상기 제1 경로 계획을 비교하여 주행 오차를 계산하고, 상기 주행 오차가 보상된 제2 경로 계획을 생성할 수 있다.
일 실시예에 따르면, 상기 제1 경로 계획은, 일정한 시간 간격으로 설정된 상기 운송 로봇의 위치 좌표를 포함하고, 상기 좌표 분석부는, 상기 운송 로봇의 위치 좌표와 상기 공간 좌표에 대응되는 복수 개의 운송 로봇의 위치 좌표를 시점 별로 비교하여, 시점 별 평균 주행 오차를 계산할 수 있다.
일 실시예에 따르면, 상기 주행 정보는, 상기 운송 로봇의 ID 정보, 위치 좌표, 각도, 일시 정보 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에 따르면, 상기 공간 이미지 데이터는, 상기 모니터링 장치(CCTV)의 ID 정보, 일시 정보, 상기 운송 로봇을 포함하는 바닥면의 그리드, 상기 운송 로봇의 ID 정보 중 적어도 하나 이상을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 실내 위치 인식 시스템은 공간을 주행하는 운송 로봇, 상기 운송 로봇이 포함된 공간을 촬영하는 모니터링 장치(CCTV) 및 상기 모니터링 장치(CCTV)가 제공하는 공간 이미지 데이터 및 상기 운송 로봇이 제공하는 주행 정보를 기초로 상기 운송 로봇의 위치 좌표를 추정하고, 주행 오차를 분석하는 위치 제어 서버를 포함한다.
일 실시예에 따르면, 상기 운송 로봇은, 상기 위치 제어 서버와 통신하는 통신부, 상기 운송 로봇의 위치 좌표를 인식하는 좌표 인식부 및 상기 통신부, 상기 좌표 인식부를 제어하고, 경로 계획을 설정하여 상기 운송 로봇을 주행시키는 제어부를 포함할 수 있다.
일 실시예에 따르면, 상기 위치 제어 서버는, 상기 공간 이미지 내에서 운송 로봇의 형태를 분석하여 운송 로봇을 식별하고, 식별된 운송 로봇이 존재하는 공간 이미지 데이터와 상기 식별된 운송 로봇으로부터 수신한 주행 정보를 지속적으로 매핑하여, 상기 모니터링 장치(CCTV)가 촬영하는 공간 이미지 데이터의 공간 좌표를 생성할 수 있다.
일 실시예에 따르면, 상기 위치 제어 서버는, 상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 경우, 상기 공간 좌표를 기초로 상기 운송 로봇의 위치 좌표를 추정할 수 있다.
일 실시예에 따르면, 상기 위치 제어 서버는, 상기 추정된 위치 좌표와 상기 위치 정보 요청 신호를 송신한 운송 로봇으로부터 수신한 위치 좌표를 비교하여 좌표 오차를 분석하고, 분석 결과에 따라, 좌표 오차가 존재하는 경우, 상기 좌표 오차를 상기 위치 정보 요청 신호를 송신한 운송 로봇으로 송신할 수 있다.
일 실시예에 따르면, 상기 주행 정보는, 상기 운송 로봇의 ID 정보, 위치 좌표, 각도, 일시 정보 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에 따르면, 상기 공간 이미지 데이터는, 상기 모니터링 장치(CCTV)의 ID 정보, 일시 정보, 상기 운송 로봇을 포함하는 바닥면 그리드, 상기 운송 로봇의 ID 정보 중 적어도 하나 이상을 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 위치 제어 서버가 수행하는 운송 로봇의 위치 정보 제공 방법으로서, 상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 단계, 상기 위치 정보 요청 신호에 따라, 복수 개의 모니터링 장치(CCTV)로부터 복수 개의 공간 이미지 데이터를 수집하고, 상기 복수 개의 공간 이미지 데이터에서 상기 위치 정보 요청 신호를 송신한 운송 로봇의 이미지를 식별하는 단계, 상기 식별된 운송 로봇의 위치 좌표를 추정하는 단계 및 상기 추정된 위치 좌표를 상기 운송 로봇으로 송신하는 단계를 포함한다.
일 실시예에 따르면, 상기 위치 정보 요청 신호를 수신하는 단계 이전에, 상기 복수 개의 모니터링 장치(CCTV)가 촬영하는 공간 이미지 데이터를 수신하고, 수신한 복수 개의 공간 이미지 데이터를 분석하여 바닥면의 그리드를 확인하는 단계, 상기 복수 개의 공간 이미지 데이터에서 운송 로봇의 형태를 분석하여 운송 로봇을 식별하는 단계, 상기 식별된 운송 로봇이 존재하는 공간 이미지 데이터와 상기 식별된 운송 로봇으로부터 수신한 주행 정보를 지속적으로 매핑하는 단계 및 상기 매핑 결과에 따라 상기 복수 개의 모니터링 장치(CCTV)가 촬영하는 공간의 공간 좌표를 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 운송 로봇의 위치 좌표를 추정하는 단계는, 상기 생성한 공간 좌표를 기초로 상기 식별된 운송 로봇의 위치 좌표를 추정할 수 있다.
일 실시예에 따르면, 상기 주행 정보는, 상기 운송 로봇의 ID 정보, 위치 좌표, 각도, 일시 정보 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에 따르면, 상기 공간 이미지 데이터는, 상기 모니터링 장치(CCTV)의 ID 정보, 일시 정보, 상기 운송 로봇을 포함하는 바닥면의 그리드, 상기 운송 로봇의 ID 정보 중 적어도 하나 이상을 포함할 수 있다.
본 발명에 의하면, 위치 제어 서버가 물건을 적재하는 운송 로봇의 다양한 형태를 인식하여 각기 다른 형태의 운송 로봇에게 실시간으로 최적의 주행 경로를 제공할 수 있으며, 물류 센터의 물품 처리 효율이 증대되는 효과가 있다.
또한, 실내 공간을 촬영하는 모니터링 장치(CCTV)만으로 운송 로봇의 주행 경로 학습 및 설정이 가능한 바, 기술 적용을 위한 새로운 인프라를 구축하기 위한 비용이 소모되지 않아, 경제적인 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 실내 위치 인식 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 다양한 실시예에 따른 운송 로봇의 형태를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 실내 공간을 촬영하는 모니터링 장치(CCTV)를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 위치 제어 서버의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 실내 공간을 촬영하는 모니터링 장치(CCTV)가 획득하는 공간 이미지를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 운송 로봇이 인식하는 위치 좌표를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 위치 제어 서버가 공간 이미지 데이터와 주행 좌표를 매핑하여 공간 좌표를 추정하는 방식을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 운송 로봇의 위치 좌표 추정 방법의 흐름을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 위치 제어 서버가 운송 로봇의 경로 계획을 보정하는 방법을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 위치 제어 서버가 운송 로봇이 주행하는 공간의 공간 좌표를 학습하는 방법의 흐름을 나타낸 순서도이다.
도 2는 본 발명의 다양한 실시예에 따른 운송 로봇의 형태를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 실내 공간을 촬영하는 모니터링 장치(CCTV)를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 위치 제어 서버의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 실내 공간을 촬영하는 모니터링 장치(CCTV)가 획득하는 공간 이미지를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 운송 로봇이 인식하는 위치 좌표를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 위치 제어 서버가 공간 이미지 데이터와 주행 좌표를 매핑하여 공간 좌표를 추정하는 방식을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 운송 로봇의 위치 좌표 추정 방법의 흐름을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 위치 제어 서버가 운송 로봇의 경로 계획을 보정하는 방법을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 위치 제어 서버가 운송 로봇이 주행하는 공간의 공간 좌표를 학습하는 방법의 흐름을 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 실시예에 따른 실내 위치 인식 시스템(10)의 구성을 개략적으로 나타낸 도면이고, 도 2는 본 발명의 다양한 실시예에 따른 운송 로봇(100)의 형태를 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 실내 공간을 촬영하는 모니터링 장치(CCTV, 200)를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 실내 위치 인식 시스템(10)은 운송 로봇(100), 모니터링 장치(CCTV, 200) 및 위치 제어 서버(300)를 포함함을 확인할 수 있으며, 기타 본 발명의 목적을 달성하기 위한 부가적인 구성을 더 포함할 수 있다.
운송 로봇(100)은 공간을 주행하는 지능형 로봇(Intelligent service robot)으로서, 외부 환경을 인식하고 스스로 상황을 판단하여 자율적으로 동작할 수 있으며, 이를 위해 통신부(110), 좌표 인식부(120) 및 제어부(130)를 포함함을 확인할 수 있다.
운송 로봇(100)의 구성을 설명하기에 앞서, 운송 로봇(100)이 주행하는 공간은 바닥면에 2D(Dimension) X, Y 좌표를 설정할 수 있는 그리드가 그려져 있는 공간일 수 있다. 다만, 그리드가 그려져 있지 않은 공간이더라도, 위치 제어 서버(300)가 모니터링 장치(CCTV, 200)로부터 획득한 공간 이미지 데이터를 이용하여 그리드를 설정할 수 있으며, 이에 대한 보다 구체적인 설명은 후술하기로 한다.
먼저, 운송 로봇(100)의 통신부(110)는 위치 제어 서버(300)와 통신하여 주행 정보, 공간 좌표, 경로 계획 등 운송 로봇의 주행에 관한 다양한 정보들을 주고받을 수 있다. 그에 따라, 운송 로봇(100)은 자체적으로 공간 내에서 위치를 파악하고 물품을 운송하는 등의 기능을 수행할 수 있다. 이를 위해, 통신부(110)는 2G/3G, LTE(Long Term Evolution), LTE-A(LTE-Advance)와 같은 셀룰러 통신 네트워크를 지원할 수 있으며, Wi-Fi와 같은 무선 네트워크를 지원할 수 있다.
다음으로 좌표 인식부(120)는 운송 로봇(100)의 현재 위치 정보를 자체적으로 인식하여 운송 로봇(100)의 위치 좌표를 파악할 수 있다. 실시예에 따라, 좌표 인식부(120)가 인식하는 정보에는 운송 로봇의 X좌표, Y좌표, 이동 각도 등이 포함될 수 있다.
아울러, 운송 로봇(100)은 제한된 크기의 실내 공간에서 위치와 방향을 파악하기 위해, 엔코더(encoder), 적외선, 초음파 등의 센서가 장착되어 자기 위치 좌표를 인식하고, 장애물 여부를 판단할 수 있다. 보다 구체적으로, 운송 로봇(100)에 장착되는 엔코더(encoder)는 모터나 바퀴의 회전 속도 또는 회전 각도를 측정할 때 사용되는 센서로, 축이 회전할 때 일정 각도마다 펄스를 발생시키고, 펄스의 수를 세어 얼마나 회전했는지 알아낼 수 있다.
또한, 운송 로봇(100)은 통신부(110), 좌표 인식부(120)를 제어하고, 경로 계획을 설정하여 운송 로봇(100)을 주행시키는 제어부(130)를 포함함을 확인할 수 있다. 실시예에 따라, 제어부(130)는 앞서 좌표 인식부(120)가 인식한 운송 로봇(100)의 위치 정보와 함께 주행 정보, 경로 계획을 생성하여, 위치 제어 서버(300)로 송신할 수 있다. 예를 들어, 주행 정보에는 운송 로봇(100)의 ID 정보, 위치 좌표, 각도, 일시 정보가 포함될 수 있다.
또한, 제어부(130)는 좌표 인식부(120)가 인식한 위치 정보를 기초로 현재 주행하고 있는 공간의 지도 정보를 자체적으로 생성하여 저장할 수 있으며, 그에 따라, 운송 로봇(100)의 경로 계획을 설정할 수 있다. 다만, 운송 로봇(100)이 자체적으로 인식한 위치 정보 및 지도 정보의 경우, 운송 로봇(100)의 주행 경로면 재질이나, 센서의 오작동으로 인해 정확성이 떨어지는 바, 위치 제어 서버(300)로부터 현재 운송 로봇(100)의 위치 정보를 확인 받거나, 생성한 경로 계획을 확인 받을 수 있는데, 이에 대한 구체적인 설명은 후술하기로 한다.
한편, 본 발명의 운송 로봇(100)은 물건을 운송하기 위해 사용될 수 있으며, 이러한 운송 로봇(100)의 형태는 다양할 수 있다.
이와 관련하여, 도 2를 참조하면, 운송 로봇(100)은 상단에 어떠한 물품도 적재하지 않은 기본적인 (a), (b) 형태를 가질 수 있으며, 물건을 적재하지 않았지만, 큰 부피의 물건을 싣기 위한 팔레트(100a)가 상단에 배치된 (c) 형태를 가지거나, 팔레트(100a) 상에 물건(100b)이 적재된 (d) 형태를 가질 수 있다. 다만, 운송 로봇(100)의 형태는 이에 한정되지 않고, 팔레트(100a)가 물건(100b)이 추가로 적재된 형태를 가질 수도 있다.
다시 도 1을 참조하면, 모니터링 장치(CCTV, 200)는 운송 로봇이 배치된 공간을 촬영하는 장비로서, 일반적인 아날로그 카메라, 네트워크 카메라, 줌 카메라, 스피드 돔 카메라 중 어느 하나 이상일 수 있다. 실시예에 따라, 모니터링 장치(CCTV, 200)는 운송 로봇(100)이 주행하는 공간 내 배치된 장애물의 크기 또는 배치에 따라 복수 개가 배치될 수 있으며, 지속적으로 공간을 촬영할 수 있다.
도 3을 참조하면, 하나의 공간에 장애물(C)의 배치에 따라 두 개의 모니터링 장치(CCTV, 200)가 배치되어 있으며, 장애물(C)의 배치로 인해 구획된 공간에 적어도 하나 이상의 운송 로봇(100)이 주행할 수 있다.
모니터링 장치(CCTV, 200)는 지속적으로 공간을 촬영하며, 위치 제어 서버(300)로부터 공간 이미지 데이터 요청 신호를 수신하는 경우, 요청 신호를 수신한 시각에 대응되는 영상의 이미지 프레임, 즉 공간 이미지 데이터를 위치 제어 서버(300)로 송신할 수 있다. 실시예에 따라, 공간 이미지 데이터는 모니터링 장치(CCTV, 200)의 ID 정보, 일시 정보, 운송 로봇(100)을 포함하는 바닥면 그리드를 포함할 수 있으며, 위치 제어 서버(300)가 공간 이미지 데이터 요청 신호를 송신함으로써 확인하고자 하는 운송 로봇(100)의 ID 정보를 포함할 수도 있다.
마지막으로, 실내 위치 인식 시스템(10)은 위치 제어 서버(300)를 포함함을 확인할 수 있으며, 모니터링 장치(CCTV, 200)가 제공하는 공간 이미지 데이터 및 운송 로봇(100)이 제공하는 주행 정보를 기초로 운송 로봇(100)의 위치 좌표를 추정하고, 운송 로봇(100)이 경로 계획을 설정하는 경우, 경로 계획에 대한 주행 오차를 분석할 수 있다.
실시예에 따라, 위치 제어 서버(300)는 기존에 보안 기능을 위해 배치시킨 복수 개의 모니터링 장치(CCTV, 200)와 운송 로봇(100)이 제공하는 주행 정보를 지속적으로 수집하여, 복수 개의 모니터링 장치(CCTV, 200)가 촬영하는 바닥면에 대한 공간 좌표를 생성할 수 있다.
아울러, 위치 제어 서버(300)는 공간 좌표를 생성한 후, 운송 로봇(100)으로부터 위치 정보 요청 신호를 수신하는 경우, 기 생성한 공간 좌표를 이용하여 운송 로봇(100)의 위치 좌표를 추정할 수 있다. 또한, 추정된 위치 좌표가 운송 로봇(100)이 자체적으로 판단한 위치 좌표와 상이할 경우, 상이한 오차 값 또는 운송 로봇(100)의 위치를 보정하는 정보를 운송 로봇(100)으로 송신함으로써, 운송 로봇(100)이 정확하고 빠르게 공간을 이동할 수 있도록 제어할 수 있다.
지금까지 본 발명의 일 실시예에 따른 실내 위치 인식 시스템(10)이 포함하는 구성에 대하여 간략히 설명하였다. 본 발명에 따르면, 실내 위치 인식 시스템(10)은 물류와 같이 생산성 확보가 중요한 기술 분야에서 운송 로봇(100)을 사용함에 있어서, 운송 로봇(100)이 정확한 위치 정보를 파악하기 위해 바닥면에 마그네틱 모듈과 같은 전자 기능을 수행하는 장치들을 삽입하지 않고도, 기존의 보안을 위해 배치된 모니터링 장치(CCTV, 200)를 이용하여 운송 로봇(100)이 주행하는 공간의 위치 좌표를 추정할 수 있다. 또한, 추정된 위치 좌표를 기초로 운송 로봇(100)이 정확한 위치에 도달할 수 있도록 정보를 제공하여, 운송 로봇(100)이 효율적으로 움직일 수 있다.
이하에서는, 운송 로봇(100)이 주행하는 공간의 위치 좌표를 추정하여, 운송 로봇(100)이 정확한 위치 좌표로 도달할 수 있도록 제어하는 위치 제어 서버(300)의 각 구성 요소들에 대하여 구체적으로 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 위치 제어 서버(300)의 구성을 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 실내 공간을 촬영하는 모니터링 장치(CCTV, 200)가 획득하는 공간 이미지를 나타낸 도면이며, 도 6은 본 발명의 일 실시예에 따른 운송 로봇(100)이 인식하는 위치 좌표를 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 위치 제어 서버(300)가 공간 이미지 데이터와 주행 좌표를 매핑하여 공간 좌표를 추정하는 방식을 나타낸 도면이다.
도 4를 참조하면, 위치 제어 서버(300)는 적어도 하나의 서버 장치(Server Device)에 해당할 수 있으며, 통신 인터페이스(310), 메모리(320), 좌표 분석부(330), 좌표 매핑부(340)를 포함함을 확인할 수 있다.
그러나 이는 본 발명의 목적을 달성하기 위한 하나의 실시 예일 뿐이며, 다양한 기능을 수행하기 위한 부가적인 하드웨어/소프트웨어 구성이 추가될 수 있음은 물론이다.
먼저, 통신 인터페이스(310)는 네트워크를 통하여 적어도 하나 이상의 운송 로봇(100) 및 적어도 하나 이상의 모니터링 장치(CCTV, 200)와 데이터(메시지)를 주고받을 수 있다. 예를 들어, 데이터는 운송 로봇(100)의 주행 정보, 모니터링 장치(CCTV, 200)가 촬영한 영상 또는 영상을 캡쳐한 하나의 공간 이미지 데이터, 위치 제어 서버(300)가 생성한 운송 로봇(100)의 바람직한 위치 정보 또는 경로 계획 등을 포함할 수 있다.
다음으로, 메모리(320)는 적어도 하나 이상의 운송 로봇(100) 및 적어도 하나 이상의 모니터링 장치(CCTV, 200)에 관한 정보를 저장하고 있는 저장매체일 수 있다. 이를 위해, 메모리(320)는 휘발성 또는 비휘발성 기록 매체들을 포함할 수 있으며, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, SRAM(Static RAM), HDD(Hard Disk Drive), SSD(Solid State Drive) 등으로 구현될 수 있다.
보다 구체적으로, 메모리(320)가 저장하고 있는 정보에는 운송 로봇(100)을 식별하는 ID 정보, X-Y 위치 좌표, 각도, 일시 정보를 포함하는 주행 정보와 모니터링 장치(CCTV, 200)를 식별하는 ID 정보, 일시 정보, 모니터링 장치(CCTV, 200)가 촬영한 영상 또는 영상을 캡쳐한 공간 이미지 데이터 정보를 포함할 수 있다.
아울러, 위치 제어 서버(300)는 모니터링 장치(CCTV, 200)로부터 수신한 공간의 영상 또는 영상을 캡쳐한 공간 이미지를 통해, 다양한 형태의 운송 로봇(100)을 식별하고, 그에 대한 정보를 메모리(320)에 저장할 수 있다.
보다 구체적으로, 위치 제어 서버(300)가 운송 로봇(100)을 식별하는 과정을 다음과 같다. 통신 인터페이스(310)가 적어도 하나 이상의 모니터링 장치(CCTV, 200)로부터 공간에 대한 영상을 수신한 이 후에, 운송 로봇(100)으로부터 운송 로봇(100)이 자체적으로 판단한 위치 좌표를 포함하는 주행 정보를 수신하고, 주행 정보를 수신한 시점을 기준으로 영상을 캡쳐하여, 캡쳐된 공간 이미지 내에 존재하는 물체를 운송 로봇(100)의 형태로 식별하게 된다. 그에 따라, 모니터링 장치(CCTV, 200)는 운송 로봇(100)을 식별하기 위한 별도의 기능을 수행하지 않을 수 있으며, 위치 제어 서버(300)는 보다 다양한 형태의 운송 로봇(100)을 식별하여 저장할 수 있다.
다음으로, 좌표 분석부(330)는 메모리(320)에 저장된 주행 정보 및 공간 이미지 데이터를 기초로 운송 로봇(100)의 위치 좌표를 추정하고, 주행 오차를 분석할 수 있다.
이와 같이, 좌표 분석부(330)가 운송 로봇(100)의 위치 좌표를 추정하기 위해서는, 적어도 하나 이상의 모니터링 장치(CCTV, 200)가 촬영하는 공간에 대한 공간 좌표가 생성되어야 하며, 이는 좌표 매핑부(340)에 의해 수행될 수 있다.
보다 구체적으로, 도 5를 참조하면, 통신 인터페이스(310)는 모니터링 장치(CCTV, 200)로부터 X-Y 그리드가 그려진 공간 상에 운송 로봇(100)과 장애물(C)이 배치된 이미지를 수신할 수 있으며, [표 1]과 같은 공간 이미지 데이터를 메모리(320)에 저장할 수 있다.
이와 동시에, 통신 인터페이스(310)는 운송 로봇(100)으로부터 [표 2]와 같이, 운송 로봇(100)이 자체적으로 인식한 위치 좌표와 함께 주행 정보를 수신할 수 있다. 실시예에 따라 주행 정보를 수신하는 간격은 일정할 수 있다.
좌표 매핑부(340)는 [표 1]과 [표 2]에 공통적으로 존재하는 운송 로봇(100)의 ID 정보와 시간 정보를 이용하여 공간 좌표를 생성하게 되는데, 예를 들어, 도 6과 같이, 운송 로봇(100)이 자체적으로 인식한 위치 좌표가 (40, 20)이고, 이를 송신한 일시 및 운송 로봇(100)의 ID가 2018년 8월 1일 오후 1시 1분, ID: AMR-01 인 경우, 복수 개의 공간 이미지 데이터에서 해당 일시 및 운송 로봇(100)의 ID가 겹치는 공간 이미지 데이터를 추출하고, 추출된 공간 이미지 데이터의 그리드 영역에 해당 좌표 값(40, 20)을 매칭시킬 수 있다.
그에 따라, 메모리(320)에 저장되는 데이터는 [표 3]과 같을 수 있다.
다만, 앞서 서술한 과정은 하나의 운송 로봇(100)에 대하여 좌표 매핑부(340)가 공간 좌표를 매칭시킨 것으로, 공간 좌표에 대한 신뢰성을 확보하기 위해서는 많은 양의 운송 로봇(100)으로부터 주행 정보를 획득하고 이를 그리드 영역에 매칭시켜야 한다.
그에 따라, 도 7을 참조하면, 좌표 매핑부(340)는 모니터링 장치(CCTV, 200)가 촬영한 그리드 영역의 공간에 대한 공간 좌표를 확정짓기 위해, 복수 개의 운송 로봇(100)으로부터 일정 시점의 위치 좌표를 포함하는 주행 정보를 수신하고, 주행 정보 시점 및 운송 로봇(100)의 ID 정보를 기초로 그리드 영역에 복수 개의 위치 좌표를 매칭시켜 하나의 공간 좌표(P1, P2, P3)들을 추정할 수 있다. 또한, 누적되는 주행 정보 및 이미지 정보를 통해 운송 로봇(100)의 주된 이동 경로를 파악할 수도 있다.
이와 같이, 좌표 매핑부(340)가, 모니터링 장치(CCTV, 200)가 촬영하는 공간에 대한 그리드 영역의 공간 좌표를 생성함으로써, 좌표 분석부(330)는 운송 로봇(100)이 위치 정보 요청 신호를 송신하는 경우에 공간 좌표를 기초로 운송 로봇(100)의 위치 좌표를 추정할 수 있다. 또한, 좌표 분석부(330)가 추정한 운송 로봇(100)의 위치 정보가 해당 운송 로봇(100)이 송신한 위치 좌표와 비교했을 때, 오차가 존재하는 경우, 좌표 분석부(330)는 좌표 오차를 생성하고, 통신 인터페이스(310)를 통해 좌표 오차를 해당 운송 로봇(100)에 송신할 수 있다. 여기서, 좌표 오차는 운송 로봇(100)의 정확한 위치 좌표 또는 정확한 위치로 이동하기 위한 거리, 방향 정보 등을 포함할 수 있다.
아울러, 좌표 매핑부(340)는 공간 좌표를 추정하고, 운송 로봇(100)의 주된 이동 경로를 판단함 따라, 운송 로봇(100)이 생성한 경로 계획을 생성하는 경우, 경로 계획이 바람직한 경로 계획인지 판단하고 새롭게 경로 계획을 생성할 수도 있으며, 이에 대한 구체적인 내용은 후술하기로 한다.
다시 도 4를 참조하면, 위치 제어 서버(300)는 통신 인터페이스(310), 메모리(320), 좌표 분석부(330) 및 좌표 매핑부(340)를 제어하는 제어부(350)를 포함함을 확인할 수 있다. 실시예에 따라, 제어부(340)는 중앙 처리 장치로서 위치 제어 서버(300)의 전반적인 동작을 제어할 수 있는 적어도 하나의 연산 장치를 포함할 수 있다. 여기서 연산 장치는 예를 들어, 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
또한, 제어부(350)는 좌표 매핑부(340)가 모니터링 장치(CCTV, 200)가 촬영하는 공간에 대한 공간 좌표를 추정하기 위해, 운송 로봇(100) 및 모니터링 장치(CCTV, 200)로부터 많은 양의 정보들을 수집할 수 있도록 제어할 수 있다.
지금까지 본 발명의 일 실시예에 따른 위치 제어 서버(300)의 구성에 대하여 설명하였다. 본 발명에 따르면, 위치 제어 서버(300)는 운송 로봇(100)이 제공한 주행 정보와 모니터링 장치(CCTV, 200)의 영상 정보를 결합 및 누적시켜, 모니터링 장치(CCTV, 200)가 촬영하는 공간에 대한 공간 좌표를 정확하게 추정할 수 있다. 이하의 설명에서는 위치 정보 제공 서버(300)가 추정한 공간 좌표를 이용하여 운송 로봇(100)에게 정확한 위치 정보를 제공하는 방법에 대하여 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 운송 로봇(100)의 위치 좌표 추정 방법의 흐름을 나타낸 순서도이다.
이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 삭제 또는 추가되거나, 어느 한 단계가 다른 단계에 포함되어 수행될 수 있음은 물론이다.
도 8을 참조하면, 위치 제어 서버(300)는 운송 로봇(100)으로부터 위치 정보 요청 신호를 수신한다(S110). 이때, 운송 로봇(100)이 송신하는 위치 정보 요청 신호에는 X좌표, Y좌표, 각도를 포함하는 운송 로봇(100)의 현재 각도와 함께 운송 로봇(100)의 ID 등 운송 로봇(100)의 주행 정보를 포함할 수 있다.
운송 로봇(100)으로부터 위치 정보 요청 신호 수신 후, 위치 제어 서버(300)는 메모리(320)에 운송 로봇(100)의 주행 정보, 모니터링 장치(CCTV, 200)가 촬영한 공간 이미지 데이터, 공간 좌표 등의 기 저장된 위치 정보가 존재하는 지 판단한다(S120).
그에 따라, 기 저장된 위치 정보가 존재하지 않는 경우, 위치 제어 서버(300)는 운송 로봇(100)의 위치 추정이 불가능할 것으로 판단하고, 운송 로봇(100) 또는 실내 위치 인식 시스템(10)을 운영하는 사용자로 위치 인식이 불가능함을 송신할 수 있다(S125, NO). 예를 들어, 위치 제어 서버(300)가 송신하는 메시지에는 '미 학습에 따른 위치 인식 불가', '유사한 좌표 정보 없음'이 포함될 수 있다.
이와 반대로, 기 저장된 위치 정보가 존재하는 경우, 위치 제어 서버(300)는 위치 정보 요청 신호에 따라, 복수 개 또는 적어도 하나 이상의 모니터링 장치(CCTV, 200)로부터 수신한 영상 또는 영상을 프레임 단위로 캡쳐한 공간 이미지를 수집하여, 위치 정보 요청 신호를 송신한 운송 로봇(100)의 이미지를 식별한다(S130, YES). 이는 위치 제어 서버(300)가 학습하고 저장한 정보를 바탕으로 수행될 수 있다.
다만, 이 과정에서 위치 제어 서버(300)는 식별한 운송 로봇(100)이 기 저장된 운송 로봇(100)의 이미지와 비교하였을 때, 이미지 유사도가 기준치를 만족시키는 지 확인하여(S135), 해당 이미지가 운송 로봇(100)이 맞는지, 위치 제어 서버(300)가 운송 로봇(100)의 위치를 추정하기 위한 충분한 정보를 저장하고 있는 지 판단할 수 있다. 실시예에 따라, 기준치는 실내 위치 인식 시스템(10)을 운영하는 사용자에 의해 임의로 설정될 수 있으며, 기본적으로 이미지 유사도 기준치는 70~80%로 설정될 수 있다.
그에 따라, 위치 제어 서버(300)가 식별한 운송 로봇(100)의 이미지가 기준치를 넘지 못하는 경우, 위치 제어 서버(300)는 운송 로봇(100)의 위치 추정이 불가능할 것으로 판단하고, 운송 로봇(100) 또는 실내 위치 인식 시스템(10)을 운영하는 사용자로 위치 인식 불가능함을 송신할 수 있다(S125, NO).
반대로, 위치 제어 서버(300)가 식별한 운송 로봇(100)의 이미지 및 기 저장된 이미지와의 유사도가 기준치 이상인 경우, 위치 제어 서버(300)는 식별한 운송 로봇(100)이 촬영된 모니터링 장치(CCTV, 200)가 지속적으로 촬영하고 있는 공간에 대한 공간 좌표를 확인하고, 이를 기초로 식별한 운송 로봇(100)의 위치 좌표를 추정하고(S140), 추정된 위치 좌표를 위치 정보 요청 신호를 송신한 운송 로봇(100)으로 송신한다(S150).
지금까지 본 발명의 일 실시예에 따른 위치 제어 서버(300)가 기 저장된 정보들을 바탕으로 운송 로봇(100)의 위치 정보를 추정하는 방법에 대하여 설명하였으며, 이하에서는 위치 정보를 추정하는 것에서 나아가 운송 로봇(100)이 물건 운송 등의 임무를 수행하기 위해 설정한 경로 계획을 따라 올바르게 이동하는지 판단하는 방법에 대하여 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 위치 제어 서버(300)가 운송 로봇(100)의 경로 계획을 보정하는 방법을 나타낸 도면이다.
도 9를 참조하면, 위치 제어 서버(300)는 임의의 제1 공간에 대하여 운송 로봇(100)이 자체적으로 설정한 제1 경로 계획(R)을 수신한 경우, 수신한 제1 경로 계획(R)을 제1 공간에 대한 공간 좌표 상에 매핑시킨다. 여기서, 운송 로봇(100)이 송신하는 제1 경로 계획(R)에는 각 시간별 운송 로봇(100)의 위치 좌표(R1~R6)를 포함할 수 있으며, 위치 제어 서버(300)가 정확한 경로 계획을 파악하기 위해, 운송 로봇(100)은 일정한 시간 간격에서의 위치 좌표를 제공할 수 있다.
이러한 제1 경로 계획(R)은, 종래의 복수 개의 운송 로봇(100)이 설정했던 경로 계획과 동일하며, 위치 제어 서버(300)가 제1 공간을 촬영하는 모니터링 장치(CCTV, 200)가 송신한 복수 개의 공간 이미지 데이터를 기초로 일정한 시간 간격에서의 운송 로봇(100)의 위치 좌표(S1~S6)를 확인함으로써, 종래의 운송 로봇(100)이 제1 경로 계획(R)에서 어느 정도의 오차를 가지고 이동 하였는지 판단할 수 있다.
즉, 위치 제어 서버(300)는 제1 경로 계획(R)에서의 위치 좌표와 이전에 제1 공간을 제1 경로 계획(R)을 가지고 주행했던 복수 개의 운송 로봇(100)의 위치 좌표를 시점 별로 비교하여, 시점 별 주행 오차를 계산할 수 있다. 실시예에 따라, 위치 제어 서버(300)는 시점 별 주행 오차의 평균을 계산하여, 주행 오차의 평균이 기 설정된 값을 초과하는 지 판단할 수 있다. 여기서 기 설정된 값은 운송 로봇의 평균 이동 속도 및 제1 경로 계획(R)에서의 운송 로봇(100)의 이동 시간을 기초로 설정될 수 있다.
그에 따라, 주행 오차의 평균이 기 설정된 값을 초과하는 경우, 위치 제어 서버(300)는 운송 로봇(100)이 생성한 제1 경로 계획(R)을 따라 이동할 시에 주행 오차가 발생하는 것으로 판단하고, 새로운 제2 경로 계획(R')을 생성할 수 있다. 이때, 새로운 제2 경로 계획(R')은 운송 로봇(100)이 자체적으로 생성한 제1 경로(R)에서 주행 오차 값을 보상한 경로로서, 위치 제어 서버(300)는 이를 운송 로봇(100)에 송신할 수 있다.
한편, 시점 별 주행 오차의 평균이 기 설정된 값을 초과하지 않는 경우, 위치 제어 서버(300)는 운송 로봇(100)이 생성한 제1 경로 계획(R)을 따라 올바르게 이동 가능한 것으로 판단하고, 운송 로봇(100)으로 경로 계획 확인 완료 메시지를 송신할 수 있다.
아울러, 위치 제어 서버(300)는 운송 로봇(100) 및 모니터링 장치(CCTV, 200)로부터 충분한 위치 정보를 수집하여, 공간 좌표를 생성한 이후에도 지속적으로 주행 정보 및 공간 이미지 데이터를 수신하고, 이를 통해 모니터링 장치(CCTV, 200)가 촬영하는 공간에 대한 정보 또는 운송 로봇(100)의 상태를 파악할 수 있다. 예를 들어, 위치 제어 서버(300)는 특정 위치에서 운송 로봇(100)의 주행 정보 또는 경로 계획에서 큰 편차의 오차가 발생하는 경우, 해당되는 공간에 바닥면의 문제가 발생한 것으로 인식할 수 있으며, 경로 계획을 제공한 운송 로봇(100)이 경로 계획을 따라 이동하지 않는 것으로 파악되는 경우, 운송 로봇(100)의 오류를 인식할 수도 있다.
지금까지 본 발명의 일 실시예에 따른 위치 제어 서버(300)가 운송 로봇(100)이 생성한 경로 계획에 따라 정확히 이동 가능한지 판단하고, 판단 결과에 따라 새로운 경로 계획을 생성하는 방법에 대하여 설명하였다. 본 발명에 따르면, 위치 제어 서버(300)가 정확한 위치 정보를 제공하는 것뿐만 아니라, 기 저장된 정보들을 통하여 바람직한 경로 계획을 설정해 주는 바, 운송 로봇(100)들이 효율적으로 이동할 수 있으며, 그에 따라 물류 센터 내의 물품 처리 효율이 향상될 수 있다.
한편, 앞서 설명한 위치 제어 서버(300)의 위치 좌표 추정 및 경로 계획 판단 과정은 운송 로봇(100)의 주행 정보와 모니터링 장치(CCTV, 200)가 촬영한 공간 이미지 데이터가 저장되어, 공간에 대한 공간 좌표가 설정된 이후의 단계로서, 공간 좌표를 설정하기 위한 과정이 선행되어야 한다. 이는 앞서 운송 로봇(100)이 주행하는 공간에 대한 내용에서 설명 보류한 내용이며, 이하 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 위치 제어 서버(300)가 운송 로봇(100)이 주행하는 공간의 공간 좌표를 학습하는 방법의 흐름을 나타낸 순서도이다.
도 10을 참조하면, 위치 제어 서버(300)는 복수 개의 모니터링 장치(CCTV, 200)가 촬영하는 공간의 공간 이미지를 수신하고, 이를 분석하여 바닥면의 그리드를 확인한다(S101).
확인 결과, 운송 로봇(100)이 주행하는 바닥면에 그리드가 그려져 있지 않은 경우, 위치 제어 서버(300)는 복수 개의 모니터링 장치(CCTV, 200)가 송신하는 영상으로부터, 공간 이미지를 캡쳐하고, 바닥면을 나타내는 영역을 추출한다(S101-1, NO). 다음으로, 위치 제어 서버(300)는 추출한 영역의 모서리를 X좌표, Y 좌표 시작을 위한 영점(0, 0)으로 설정하고, 영점으로부터 일정한 간격을 가지는 그리드를 생성한다(S101-2). 실시예에 따라, 그리드 간격은 1m로 설정될 수 있다. 바닥면에 대한 그리드를 생성한 이후, 위치 제어 서버(300)는 각각의 모니터링 장치(CCTV, 200) 식별 번호와 함께 바닥면 이미지에 대한 식별 번호를 부여하고, 이를 저장할 수 있다(S101-3).
한편, 확인 결과, 운송 로봇(100)이 주행하는 바닥면에 그리드가 그려진 경우, 위치 제어 서버(300)는 복수 개의 공간 이미지 내에서 운송 로봇(100)의 형태를 분석하여, 운송 로봇(100)을 식별한다(S102, YES). 보다 구체적으로, 위치 제어 서버(300)는 기 저장된 운송 로봇(100)의 이미지 정보를 기초로 복수 개의 공간 이미지 내에서 운송 로봇을 식별할 수 있으며, 기 저장된 운송 로봇(100)의 이미지 정보가 존재하지 않는 경우, 운송 로봇(100)으로부터 위치 좌표를 포함하는 주행 정보를 수신하고, 수신된 시점에 대응되는 모니터링 장치(CCTV, 200)의 촬영 영상을 확인하여 운송 로봇(100)을 식별할 수도 있다.
다음으로, 위치 제어 서버(300)는 식별된 운송 로봇(100)이 존재하는 공간 이미지 데이터와 식별된 운송 로봇(100)으로부터 수신한 주행 정보를 지속적으로 매핑하고, 이를 저장한다(S103). 다시 말해서, 위치 제어 서버(300)는 공간 이미지 내 그리드의 각 지점에 복수 개의 운송 로봇(100)이 송신한 위치 좌표를 대응시킴으로써, 각 지점에 대한 특정 위치 좌표를 추정할 수 있게 된다.
마지막으로, 위치 제어 서버(300)는 많은 양의 주행 정보를 지속적으로 매핑한 결과에 따라 복수 개의 모니터링 장치(CCTV, 200)가 촬영하는 공간 이미지에 대한 공간 좌표 생성을 완료한다(S104).
이와 같이, 위치 제어 서버(300)가 별도의 기능을 수행하지 않는 모니터링 장치(CCTV, 200)를 활용하여 그리드에 대한 공간 좌표를 생성하고, 운송 로봇(100)의 위치 좌표를 추정 가능하게 함으로써, 사용자는 운송 로봇(100)의 이동 경로 제어를 위한 별도의 인프라를 구축하지 않아도 되는 바, 보다 경제적일 수 있다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장 매체, 광학적 판독 매체 등 모든 저장매체를 포함한다. 또한, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록 매체에 기록하는 것이 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 실내 위치 인식 시스템
100: 운송 로봇
110: 통신부
120: 좌표 인식부
130: 제어부
200: 모니터링 장치
300: 위치 제어 서버
310: 통신 인터페이스
320: 메모리
330: 좌표 분석부
340: 좌표 매핑부
350: 제어부
100: 운송 로봇
110: 통신부
120: 좌표 인식부
130: 제어부
200: 모니터링 장치
300: 위치 제어 서버
310: 통신 인터페이스
320: 메모리
330: 좌표 분석부
340: 좌표 매핑부
350: 제어부
Claims (20)
- 운송 로봇 및 모니터링 장치(CCTV)와 통신하는 통신 인터페이스;
상기 통신 인터페이스가 상기 운송 로봇으로부터 수신한 주행 정보 및 상기 모니터링 장치(CCTV)로부터 수신한 상기 운송 로봇을 포함하는 공간 이미지 데이터를 저장하는 메모리;
상기 메모리에 저장된 주행 정보 및 공간 이미지 데이터를 기초로 상기 운송 로봇의 위치 좌표를 추정하고, 주행 오차를 분석하는 좌표 분석부; 및
상기 통신 인터페이스, 상기 메모리, 상기 좌표 분석부를 제어하는 제어부;
를 포함하고,
상기 주행 정보는 상기 운송 로봇의 위치 좌표를 반드시 포함하고, 상기 운송 로봇의 ID정보, 각도, 일시 정보 중 적어도 하나를 더 포함하며,
상기 좌표 분석부는, 상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 경우, 상기 추정된 위치 좌표와 상기 위치 정보요청 신호를 송신한 운송 로봇으로부터 수신한 위치 좌표를 비교하여 좌표 오차를 분석하며,
상기 분석 결과에 따라 좌표 오차가 존재하는 경우,
상기 통신 인터페이스가, 상기 위치 정보 요청 신호를 송신한 운송 로봇으로 상기 좌표 오차를 송신하는, 운송 로봇의 위치 제어 서버. - 제1항에 있어서,
상기 공간 이미지 데이터에서 운송 로봇의 형태를 분석하여 운송 로봇을 식별하고, 식별된 운송 로봇이 존재하는 공간 이미지 데이터와 상기 식별된 운송 로봇으로부터 수신한 주행 정보를 지속적으로 매핑하여,
상기 모니터링 장치(CCTV)가 촬영하는 공간 이미지 데이터의 공간 좌표를 생성하는 좌표 매핑부;
를 더 포함하는 운송 로봇의 위치 제어 서버. - 제2항에 있어서,
상기 좌표 분석부는,
상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 경우, 상기 공간 좌표를 기초로 상기 운송 로봇의 위치 좌표를 추정하는,
운송 로봇의 위치 제어 서버. - 삭제
- 제2항에 있어서,
상기 통신 인터페이스가,
상기 운송 로봇으로부터 제1 공간을 주행하는 제1 경로 계획을 수신하는 경우,
상기 좌표 분석부가,
상기 메모리에 기 저장된 상기 제1 공간에 대한 공간 좌표를 기준으로 상기 제1 경로 계획을 비교하여 주행 오차를 계산하고, 상기 주행 오차가 보상된 제2 경로 계획을 생성하는,
운송 로봇의 위치 제어 서버. - 제5항에 있어서,
상기 제1 경로 계획은, 일정한 시간 간격으로 설정된 상기 운송 로봇의 위치 좌표를 포함하고,
상기 좌표 분석부는,
상기 운송 로봇의 위치 좌표와 상기 공간 좌표에 대응되는 복수 개의 운송 로봇의 위치 좌표를 시점 별로 비교하여, 시점 별 주행 오차를 계산하는,
운송 로봇의 위치 제어 서버. - 삭제
- 제2항에 있어서,
상기 공간 이미지 데이터는,
상기 모니터링 장치(CCTV)의 ID 정보, 일시 정보, 상기 운송 로봇을 포함하는 바닥면의 그리드, 상기 운송 로봇의 ID 정보 중 적어도 하나 이상을 포함하는,
운송 로봇의 위치 제어 서버. - 공간을 주행하는 운송 로봇;
상기 운송 로봇이 포함된 공간을 촬영하는 모니터링 장치(CCTV); 및
상기 모니터링 장치(CCTV)가 제공하는 공간 이미지 데이터 및 상기 운송 로봇이 제공하는 주행 정보를 기초로 상기 운송 로봇의 위치 좌표를 추정하고, 주행 오차를 분석하는 위치 제어 서버;
를 포함하고,
상기 주행 정보는 상기 운송 로봇의 위치 좌표를 반드시 포함하고, 상기 운송 로봇의 ID정보, 각도, 일시 정보 중 적어도 하나를 더 포함하며,
상기 위치 제어 서버는, 상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 경우, 상기 추정된 위치 좌표와 상기 위치 정보요청 신호를 송신한 운송 로봇으로부터 수신한 위치 좌표를 비교하여 좌표 오차를 분석하며,
상기 분석 결과에 따라 좌표 오차가 존재하는 경우, 상기 위치 정보 요청 신호를 송신한 운송 로봇으로 상기 좌표 오차를 송신하는, 실내 위치 인식 시스템. - 제9항에 있어서,
상기 운송 로봇은,
상기 위치 제어 서버와 통신하는 통신부;
상기 운송 로봇의 위치 좌표를 인식하는 좌표 인식부; 및
상기 통신부, 상기 좌표 인식부를 제어하고, 경로 계획을 설정하여 상기 운송 로봇을 주행시키는 제어부;
를 포함하는 실내 위치 인식 시스템. - 제9항에 있어서,
상기 위치 제어 서버는,
상기 공간 이미지 내에서 운송 로봇의 형태를 분석하여 운송 로봇을 식별하고, 식별된 운송 로봇이 존재하는 공간 이미지 데이터와 상기 식별된 운송 로봇으로부터 수신한 주행 정보를 지속적으로 매핑하여, 상기 모니터링 장치(CCTV)가 촬영하는 공간 이미지 데이터의 공간 좌표를 생성하는,
실내 위치 인식 시스템. - 제11항에 있어서,
상기 위치 제어 서버는,
상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 경우, 상기 공간 좌표를 기초로 상기 운송 로봇의 위치 좌표를 추정하는,
실내 위치 인식 시스템. - 삭제
- 삭제
- 제11항에 있어서,
상기 공간 이미지 데이터는,
상기 모니터링 장치(CCTV)의 ID 정보, 일시 정보, 상기 운송 로봇을 포함하는 바닥면 그리드, 상기 운송 로봇의 ID 정보 중 적어도 하나 이상을 포함하는,
실내 위치 인식 시스템. - 위치 제어 서버가 수행하는 운송 로봇의 위치 정보 제공 방법으로서,
상기 운송 로봇으로부터 위치 좌표와 주행 정보를 수신하는 단계;
상기 운송 로봇으로부터 위치 정보 요청 신호를 수신하는 단계;
상기 위치 정보 요청 신호에 따라, 복수 개의 모니터링 장치(CCTV)로부터 복수 개의 공간 이미지 데이터를 수집하고, 상기 복수 개의 공간 이미지 데이터에서 상기 위치 정보 요청 신호를 송신한 운송 로봇의 이미지를 식별하는 단계;
상기 식별된 운송 로봇의 위치 좌표를 추정하는 단계;
상기 식별된 운송 로봇의 좌표 오차를 분석하는 단계; 및
상기 좌표 오차를 상기 위치 정보 요청 신호를 송신한 운송 로봇으로 송신하는 단계;
를 포함하고,
상기 주행 정보는 상기 운송 로봇의 위치 좌표를 반드시 포함하고, 상기 운송 로봇의 ID정보, 각도, 일시 정보 중 적어도 하나를 더 포함하며,
상기 운송 로봇의 좌표 오차를 분석하는 단계는, 상기 위치 좌표를 추정하는 단계에서 추정된 위치 좌표와 상기 위치 정보요청 신호를 송신한 운송 로봇으로부터 수신한 위치 좌표를 비교하여 좌표 오차를 분석하는, 위치 정보 제공 방법. - 제16항에 있어서,
상기 위치 정보 요청 신호를 수신하는 단계 이전에,
상기 복수 개의 모니터링 장치(CCTV)가 촬영하는 공간 이미지 데이터를 수신하고, 수신한 복수 개의 공간 이미지 데이터를 분석하여 바닥면의 그리드를 확인하는 단계;
상기 복수 개의 공간 이미지 데이터에서 운송 로봇의 형태를 분석하여 운송 로봇을 식별하는 단계;
상기 식별된 운송 로봇이 존재하는 공간 이미지 데이터와 상기 식별된 운송 로봇으로부터 수신한 주행 정보를 지속적으로 매핑하는 단계; 및
상기 매핑 결과에 따라 상기 복수 개의 모니터링 장치(CCTV)가 촬영하는 공간의 공간 좌표를 생성하는 단계;
를 더 포함하는 위치 정보 제공 방법. - 제17항에 있어서,
상기 운송 로봇의 위치 좌표를 추정하는 단계는,
상기 생성한 공간 좌표를 기초로 상기 식별된 운송 로봇의 위치 좌표를 추정하는,
위치 정보 제공 방법. - 삭제
- 제17항에 있어서,
상기 공간 이미지 데이터는,
상기 모니터링 장치(CCTV)의 ID 정보, 일시 정보, 상기 운송 로봇을 포함하는 바닥면의 그리드, 상기 운송 로봇의 ID 정보 중 적어도 하나 이상을 포함하는,
위치 정보 제공 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180123398A KR102119161B1 (ko) | 2018-10-16 | 2018-10-16 | 운송 로봇의 실내 위치 인식 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180123398A KR102119161B1 (ko) | 2018-10-16 | 2018-10-16 | 운송 로봇의 실내 위치 인식 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200046161A KR20200046161A (ko) | 2020-05-07 |
KR102119161B1 true KR102119161B1 (ko) | 2020-06-04 |
Family
ID=70733415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180123398A KR102119161B1 (ko) | 2018-10-16 | 2018-10-16 | 운송 로봇의 실내 위치 인식 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102119161B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220070736A (ko) * | 2020-11-23 | 2022-05-31 | 박주영 | 관제 로봇의 네트워크 관리 시스템 및 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102653679B1 (ko) * | 2021-12-10 | 2024-04-03 | 김승완 | 자동 이동가능한 책상 시스템 |
KR102549026B1 (ko) * | 2022-07-29 | 2023-06-27 | 주식회사 케이피씨전자 | Ai를 이용한 지게차용 팔레트 적재 제어 시스템 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101323705B1 (ko) * | 2013-06-05 | 2013-11-11 | 한경대학교 산학협력단 | 무인 화물 이송로봇을 이용한 무인 화물 이송시스템 |
KR101480774B1 (ko) * | 2013-09-30 | 2015-01-13 | 전자부품연구원 | Cctv를 이용한 이동로봇의 위치 인식 장치 및 방법 |
KR101776823B1 (ko) * | 2016-03-02 | 2017-09-11 | 가천대학교 산학협력단 | 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101239532B1 (ko) | 2011-03-11 | 2013-03-06 | 고려대학교 산학협력단 | 로봇의 위치 인식 장치 및 방법 |
-
2018
- 2018-10-16 KR KR1020180123398A patent/KR102119161B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101323705B1 (ko) * | 2013-06-05 | 2013-11-11 | 한경대학교 산학협력단 | 무인 화물 이송로봇을 이용한 무인 화물 이송시스템 |
KR101480774B1 (ko) * | 2013-09-30 | 2015-01-13 | 전자부품연구원 | Cctv를 이용한 이동로봇의 위치 인식 장치 및 방법 |
KR101776823B1 (ko) * | 2016-03-02 | 2017-09-11 | 가천대학교 산학협력단 | 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220070736A (ko) * | 2020-11-23 | 2022-05-31 | 박주영 | 관제 로봇의 네트워크 관리 시스템 및 방법 |
KR102423415B1 (ko) * | 2020-11-23 | 2022-07-20 | 박주영 | 관제 로봇의 네트워크 관리 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20200046161A (ko) | 2020-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11373395B2 (en) | Methods and systems for simultaneous localization and calibration | |
JP6842519B2 (ja) | データ収集方法及びそのシステム | |
US11660749B2 (en) | Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots | |
EP3612906B1 (en) | Method and system for environment map generation and alignment | |
EP3559772B1 (en) | Localization of robotic vehicles | |
KR20210020945A (ko) | 창고 환경에서의 차량 추적 | |
KR102119161B1 (ko) | 운송 로봇의 실내 위치 인식 시스템 | |
US11493930B2 (en) | Determining changes in marker setups for robot localization | |
US9881276B2 (en) | Ultrasonic bracelet and receiver for detecting position in 2D plane | |
US20230147624A1 (en) | Autonomous mobile robots for coverage path planning | |
KR20230066323A (ko) | 보관 현장에서의 자율 로봇 탐색 | |
KR20210132674A (ko) | 자재 취급 차량에 관련한 센서의 포즈의 교정을 위한 시스템들 및 방법들 | |
KR20210006138A (ko) | 운송 로봇의 실내자율주행 시스템 | |
US11592826B2 (en) | Method, system and apparatus for dynamic loop closure in mapping trajectories | |
CN113485318B (zh) | 位置修正方法、装置、设备和存储介质 | |
JP7416072B2 (ja) | 搬送システム、制御装置、及び搬送方法 | |
US20240134378A1 (en) | Automated Recovery Assistance for Incapacitated Mobile Robots | |
US20220162001A1 (en) | Predicting a path of material handling equipment and determining an obstacle-free path | |
KR20200043329A (ko) | 데이터 수집 방법 및 시스템 | |
CN113124850B (zh) | 机器人、地图生成方法、电子设备及存储介质 | |
US20240037785A1 (en) | Method for mapping location codes | |
KR20240134859A (ko) | 센서 융합을 사용한 정밀 높이 추정 | |
WO2024160343A1 (en) | Robust multi-sensor object recognition and pose estimation for autonomous robotic system | |
KR20240135603A (ko) | 공중 로봇의 얇은 물체 검출 및 회피 | |
WO2024182181A1 (en) | System and method for coordinating mobile robots with workers to access task locations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |