KR20190134554A - 동적 장애물을 식별하는 방법 및 이를 구현한 로봇 - Google Patents

동적 장애물을 식별하는 방법 및 이를 구현한 로봇 Download PDF

Info

Publication number
KR20190134554A
KR20190134554A KR1020190147137A KR20190147137A KR20190134554A KR 20190134554 A KR20190134554 A KR 20190134554A KR 1020190147137 A KR1020190147137 A KR 1020190147137A KR 20190147137 A KR20190147137 A KR 20190147137A KR 20190134554 A KR20190134554 A KR 20190134554A
Authority
KR
South Korea
Prior art keywords
robot
obstacle
controller
camera sensor
moving
Prior art date
Application number
KR1020190147137A
Other languages
English (en)
Inventor
김민정
백승민
김정식
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190147137A priority Critical patent/KR20190134554A/ko
Publication of KR20190134554A publication Critical patent/KR20190134554A/ko
Priority to US16/878,701 priority patent/US11673269B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

본 명세서는 동적 장애물을 식별하는 방법 및 이를 구현한 로봇에 관한 것으로, 본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 로봇은 카메라 센서가 제1방향에서 촬영한 이미지에서 장애물을 식별하고 식별된 장애물의 이동 속도와 장애물의 분포에 따란 혼잡도와 로봇의 이동 속도에 따라 상기 장애물을 감지하는 메커니즘을 변경하여 로봇의 이동 경로를 생성한다.

Description

동적 장애물을 식별하는 방법 및 이를 구현한 로봇{METHOD OF IDENTIFYING DYNAMIC OBSTACLE AND ROBOT IMPLEMENTING THEREOF}
본 명세서는 동적 장애물을 식별하는 방법 및 이를 구현한 로봇에 관한 기술을 제시한다.
대형 마트, 백화점, 공항, 골프장 등 인적, 물적 교류가 활발하게 발생하는 공간에는 사람들에게 정보를 제공하기 위해, 또는 사람들에게 편의를 제공하기 위해 로봇이 배치될 수 있다.
전술한 로봇의 종류로는 안내로봇, 보안로봇, 청소로봇 등이 있으며, 이들 다양한 로봇들은 공간 내에서 자신의 위치를 확인하며 이동한다.
한편, 이들 로봇들은 이동 과정에서 사람 혹은 사물과의 충돌을 회피하기 위해 장애물을 감지하는 메커니즘을 이용할 수 있다. 그런데, 사람들이 다수 이동하는 실내 혹은 실외의 대면적의 공간에서 로봇이 장애물을 센싱할 경우, 사람들과 사물의 빈번한 움직임으로 인해 장애물을 센싱하거나 로봇이 이동하는데 있어 방해가 되었다.
이를 해결하기 위해 로봇은 센서의 종류나 수를 늘릴 수 있으나, 이는 또한 로봇의 계산량을 높이며 그로 인한 로봇의 이동 속도가 저하되는 문제가 있다.
이에, 본 명세서에서는 로봇이 동적인 장애물을 효율적으로 인지하는데 필요한 방안에 대해 살펴본다.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 로봇이 카메라 센서를 이용하여 장애물을 식별함에 있어서 화각이 가지는 한계를 극복할 수 있도록 한다.
또한, 본 명세서에서는 로봇이 카메라 센서와 보조 센서를 이용하여 장애물들의 이동이나 배치 상태를 확인하여 장애물을 회피하며 이동할 수 있도록 한다.
또한, 본 명세서에서는 로봇이 제1시점에서 확보한 장애물들의 위치나 이동 속도를 로컬 맵에 반영하여 제2시점에서 이를 이용하여 이동할 수 있도록 한다.
본 명세서에서 제시하는 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 명세서의 실시예들의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 명세서의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 전술한 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 로봇은 카메라 센서가 제1방향에서 촬영한 이미지에서 장애물을 식별하고 식별된 장애물의 이동 속도와 상기 장애물의 분포에 따른 혼잡도와 상기 로봇의 이동 속도에 따라 장애물을 감지하는 메커니즘을 변경하여 로봇의 이동 경로를 생성한다.
본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 로봇은 촬영한 이미지에서 식별되는 제1동적 장애물의 이동 속도 및 제1정적 장애물에 대한 정보를 저장한다.
본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 로봇은 제1방향과 일부 중첩되는 제2방향에서 촬영한 이미지와 제1방향 및 제2방향의 차이 및 저장한 정보를 이용하여 제1동적 장애물의 위치 불확정성 및 제1정적 장애물의 위치를 계산한다.
본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 로봇은 로봇의 이동 속도와 카메라 센서가 전방향 또는 진행 방향을 촬영하는데 소요되는 시간을 이용하여 장애물 감지 범위를 계산하며 제1동적 장애물이 장애물 감지 범위 내에 포함되는지를 계산하여 카메라 센서의 촬영 방향을 조절하거나 로봇의 이동 방향을 전환한다.
본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 로봇은 로봇 주변의 동적 장애물의 속도를 반영하여 위치 불확실성을 계산하고 불확실성이 일정 기준 이상일 경우 동적 장애물을 카메라 센서가 촬영하여 불확실성을 재계산한다.
본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 로봇은 로봇의 진행 방향에 배치된 장애물의 분포 또는 장애물의 속도를 반영한 혼잡도를 계산하여, 혼잡도가 일정 수준 이상인 경우 로봇은 카메라 센서의 촬영 방향을 혼잡도가 높은 영역을 향하도록 조절한다.
본 명세서의 일 실시예에 의한 동적 장애물을 식별하는 방법은 전술한 로봇의 동작을 제어하는 실시예들을 포함한다.
본 명세서의 실시예들을 적용할 경우, 로봇은 카메라 센서를 이용하여 장애물을 식별함에 있어서 화각이 가지는 한계를 극복하여 넓은 영역의 장애물을 식별할 수 있다.
또한, 본 명세서의 실시예들을 적용할 경우, 로봇이 카메라 센서와 보조 센서를 이용하여 장애물들의 이동이나 배치 상태를 확인하여 장애물을 회피할 수 있으며, 이를 위해 카메라 센서의 화각 범위와 보조 센서의 센싱 범위를 조합할 수 있다.
또한 본 명세서의 실시예들을 적용할 경우, 로봇이 카메라 센서를 이용하여 다양한 범위의 장애물들의 위치나 이동 속도를 로컬 맵에 반영한 후, 로컬 맵에 기반하여 로봇의 이동 경로를 설정할 수 있다.
본 명세서의 효과는 전술한 효과에 한정되지 않으며, 본 명세서에서 포함된 기술의 당업자들은 본 명세서의 구성에서 본 명세서의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 본 명세서의 일 실시예에 의한 로봇의 구성을 보여준다.
도 2는 본 명세서의 일 실시예 의한 로봇이 카메라 센서의 움직임을 제어하는 과정을 보여준다.
도 3은 본 명세서의 일 실시예에 의한 방향 전환시의 장애물의 위치 불확정성을 추정하는 과정을 보여준다.
도 4는 본 명세서의 일 실시예에 의한 정적 장애물을 선별하는 과정을 보여준다.
도 5는 본 명세서의 일 실시예에 의한 제어부가 동적 객체들을 식별하여 추적한 결과를 보여준다.
도 6은 본 명세서의 일 실시예에 의한 제어부가 이미지에서 장애물을 식별하는 과정을 보여준다.
도 7은 본 명세서의 일 실시예에 의한 로봇이 동적 장애물을 감지하는 범위를 보여준다.
도 8은 본 명세서의 일 실시예에 의한 로봇의 이동 방향과 탐색 순위의 상관관계를 보여준다.
도 9는 본 명세서의 일 실시예에 의한 동적 장애물의 위치 추정을 수행하는 과정을 보여준다.
도 10은 본 명세서의 일 실시예에 의한 보조 센서를 이용하여 공간을 탐색하는 과정을 보여준다.
도 11은 본 명세서의 일 실시예에 의한 보조 센서를 이용한 방향 전환 과정을 보여준다.
도 12는 본 명세서의 일 실시예에 의한 카메라 센서가 화각 범위 이상으로 영상을 취득하는 과정을 보여준다.
도 13은 본 명세서의 일 실시예에 의한 제어부가 주변 상황에 따라 카메라 센서의 움직임을 조절하는 과정을 보여준다.
도 14는 본 명세서의 일 실시예에 의한 카메라 센서의 촬영 방식을 보여준다.
도 15는 본 명세서의 일 실시예에 의한 카메라 센서의 배치 위치를 보여준다.
이하, 도면을 참조하여 본 명세서의 실시예에 대하여 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 명세서는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 명세서를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 명세서의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 명세서를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 명세서의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서를 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
이하, 본 명세서에서 로봇은 특정한 목적(청소, 보안, 모니터링, 안내 등)을 가지거나 혹은 로봇이 이동하는 공간의 특성에 따른 기능을 제공하며 이동하는 장치를 포함한다. 따라서, 본 명세서에서의 로봇은 소정의 정보와 센서를 이용하여 이동할 수 있는 이동수단을 보유하며 소정의 기능을 제공하는 장치를 통칭한다.
도 1은 본 명세서의 일 실시예에 의한 로봇의 구성을 보여준다. 본 명세서의 일 실시예에서는 외부에 배치된 사물과 로봇 사이의 거리를 센싱하는 센서가 로봇에 배치된다. 그리고 이러한 센서는 라이다 센서를 중심으로 설명한다. 그러나 라이다 센서는 로봇에 배치되는 센서의 일 실시예에 해당하며, 초음파 센서, 적외선 센서, 레이저 센서, TOF 센서(Time of Flight) 등 다양한 종류의 센서들이 로봇에 배치될 수 있다. 따라서, 본 명세서에서 라이다 센서라고 언급된 부분은 다른 센서들로 대체될 수 있으며 이들 역시 본 명세서에서 제시하는 실시예에 포함된다.
맵 저장부(210)는 로봇이 이동하는 공간을 맵으로 저장한다. 맵 저장부(210)는 고정 장애물의 위치 정보, 다른 로봇의 위치 정보 등을 저장할 수 있다. 또한, 선택적으로 로봇은 동적 장애물의 위치 정보를 맵 저장부(210)에 임시적으로 저장할 수 있다.
라이다 센서(LiDAR Sensor)(220)는 2차원 또는 3차원으로 주변의 사물들을 센싱할 수 있다. 2차원 라이다 센서의 경우 로봇을 중심으로 360도 범위의 사물의 위치를 센싱할 수 있다. 특정 위치에서 센싱한 라이다 정보는 하나의 라이다 프레임을 구성할 수 있다. 즉, 라이다 센서(220)는 로봇의 외부에 배치된 사물과 로봇 사이의 거리를 센싱하여 라이다 프레임을 생성한다.
카메라 센서(230)는 일반 카메라를 일 실시예로 한다. 시야각의 제약을 해결하기 위해 둘 이상의 카메라 센서(230)를 사용할 수 있다. 특정 위치에서 촬영한 영상은 비전 정보를 구성한다. 즉, 카메라 센서(230)는 로봇의 외부에 배치된 사물을 촬영하여 비전 정보를 포함하는 비주얼 프레임을 생성한다.
카메라 센서(230)는 로봇(1)에 배치되어 촬영 방향이 조절될 수 있다. 카메라 센서는 한정된 화각을 가지므로, 제1방향을 향해 한정된 화각 범위 내에서 촬영을 한다. 그리고 카메라 센서의 촬영 방향이 제어부(250)에 의해 제2방향으로 조절되면, 제2방향을 향해 한정된 화각 범위 내에서 촬영을 한다. 또는 카메라 센서는 방향을 변환하는 가운데 촬영을 수행할 수 있다.
로봇(1)이 라이다 센서(220)와 카메라 센서(230)를 모두 이용할 경우, 퓨젼-SLAM(Fusion-simultaneous localization and mapping)을 수행할 수 있다.
퓨전 SLAM은 라이다 정보와 비전 정보를 결합하여 사용할 수도 있다. 이들 라이다 정보와 비전 정보는 맵으로 구성할 수 있다.
이동부(260)는 일종의 바퀴와 같이 로봇을 이동시키는 구성요소이다. 제어부(250)는 이동부(260)를 제어하여 로봇을 이동시킬 수 있다.
본 명세서의 로봇(1)은 서비스 공간 내에 다수 배치된 상태에서 특정한 기능(안내, 청소, 보안 등)을 수행한다. 이 과정에서 로봇(1)은 자신의 위치를 저장하며, 로봇(1)은 전체 공간에서 자신의 현재 위치를 확인하고, 목표 지점으로 이동하는데 필요한 경로를 생성할 수 있다.
인터페이스부(290)는 사용자로부터 정보를 입력받는다. 터치 입력, 음성 입력 등 다양한 정보를 사용자로부터 입력받고, 이에 대한 결과를 출력한다. 또한 인터페이스부(290)는 로봇(1)이 저장하는 맵을 출력하거나, 로봇이 이동하는 과정을 맵과 오버랩 하여 출력할 수 있다.
또한, 인터페이스부(290)는 사용자에게 소정의 정보를 제공할 수 있다.
통신부(280)는 로봇(1)이 다른 로봇 또는 외부의 서버와 통신하여 정보를 송수신할 수 있도록 한다.
로봇(1)은 각각의 센서들(라이다 센서, 카메라 센서)을 이용하여 각각의 맵을 생성할 수 있다. 또는 로봇(1)은 이들 센서들을 이용하여 하나의 맵을 만든 후 맵에서 다시 이들로부터 특정 센서에 해당하는 내용만을 추출하는 맵을 생성할 수 있다.
이동부(260)는 로봇이 이동하는 과정에서 발생한 휠의 회전이나 속도, 방향 등에 대한 정보를 제어부(250)에게 제공한다. 제어부(250)는 다른 센서나 맵을 이용하여 로봇의 현재 위치를 확인하며, 또한 이동부(260)에서 제공된 물리적 이동 거리 정보를 반영하여 로봇의 현재 위치를 정확하게 산출할 수 있다.
제어부(250)는 맵저장부(210)에 저장된 정보, 센싱된 장애물의 위치 정보 등을 이용하여 로봇의 이동 경로(moving path)를 생성할 수 있다. 이 과정에서 특히 제어부(250)는 카메라 센서(230)를 이용하여 동적 장애물들을 식별할 수 있다. 특히, 카메라 센서(230)는 라이다 센서(220)가 외부의 장애물들을 센싱하지 못하는 상황에서 외부 이미지를 취득할 수 있다.
한편, 카메라 센서(230)를 로봇에 설치한 숫자가 증가하거나 개별 카메라 센서(230)의 화각(FOV, Field of View)이 넓을 경우 더 넓은 영역을 촬영할 수 있다.
따라서, 로봇(1)에 설치되는 카메라 센서(230)의 숫자를 줄이거나, 화각이 크지 않은 카메라 센서(230)를 이용하여 더 넓은 영역을 촬영할 경우, 로봇의 경제적 효율성이 증가한다.
이를 위해 로봇(1)은 카메라 센서(230)를 동적으로 이동시키거나, 장애물의 위치를 예측하는 등의 프로세스를 수행한다. 이를 통해 로봇(1)은 적은 수의 카메라 센서 또는 적은 범위의 화각의 카메라 센서를 이용하여 넓은 영역을 촬영할 수 있다.
즉, 제어부(250)는 카메라 센서(230)가 제1방향에서 촬영한 이미지에서 장애물을 식별한다. 그리고 제어부(250)는 식별된 장애물의 이동 속도와 장애물의 분포에 따른 혼잡도와 로봇의 이동 속도에 따라 장애물을 감지하는 메커니즘을 변경하고 로봇의 이동 경로를 생성한다.
즉, 제어부(250)가 장애물을 감지하는 메커니즘을 변경함에 있어서, 식별된 장애물의 이동 속도와 장애물의 분포에 따른 혼잡도와 로봇의 이동 속도를 이용할 수 있다.
또한, 제어부(250)가 로봇의 이동 경로를 생성함에 있어서, 식별된 장애물의 이동 속도와 장애물의 분포에 따른 혼잡도와 로봇의 이동 속도를 이용할 수 있다.
여기서 장애물을 감지하는 메커니즘이란, 제어부(250)가 장애물을 감지하기 위해 카메라 센서가 장애물을 촬영하는 속도와 방향을 일 실시예로 한다.
또한, 장애물을 감지하는 메커니즘이란 제어부(250)가 장애물 감지를 위한 로봇의 이동 속도를 일 실시예로 한다. 또한 장애물을 감지하는 메커니즘이란 제어부(250)가 장애물 감지의 정확도를 높이기 위해 설정하는 로봇의 주행 경로 또는 주행 방향을 일 실시예로 한다.
따라서, 장애물을 감지하는 메커니즘의 변경이란, 제어부(250)가 카메라 센서가 장애물을 촬영하는 속도와 방향을 변경하여 장애물 감지의 정확도를 높이는 것을 일 실시예로 한다.
또한, 장애물을 감지하는 메커니즘의 변경이란, 제어부(250)가 로봇의 이동 속도를 변경하여 장애물 감지의 정확도를 높이는 것을 일 실시예로 한다.
또한, 장애물을 감지하는 메커니즘의 변경이란, 제어부(250)가 로봇의 주행 경로나 주행 방향을 변경하여 장애물 감지의 정확도를 높이는 것을 실시예로 포함한다.
일 실시예로, 로봇의 제어부(250)는 카메라 센서의 촬영 방향을 변경하는데 소요되는 시간을 이용하여 카메라 센서(230)의 촬영 방향을 결정하고 로봇의 이동 경로를 생성할 수 있다. 그 결과 촬영 속도 역시 변경되거나 새롭게 설정될 수 있다. 이동 속도를 계산하는 과정은 장애물의 이동 방향과 이동 속력을 계산하는 과정을 포함한다. 또한, 카메라 센서의 촬영 방향을 변경하는데 소요되는 시간이란 카메라 센서(230)가 촬영 시에는 방향이 고정된 경우 이 카메라 센서(230)의 방향을 바꾸어서 다른 방향을 촬영할 수 있도록 하는데 소요되는 시간을 일 실시예로 한다. 또는 카메라 센서(230)가 촬영하면서 방향을 변경할 경우, 마찬가지로 이 카메라 센서(230)가 다른 방향을 촬영하는데까지 회전되는데 소요되는 시간을 일 실시예로 한다.
카메라 센서(230)가 다음 방향을 촬영하는데 소요되는 시간은 기계적인 시간을 포함한다. 또한, 카메러 센서(230)가 어떤 방향을 촬영해야 하는지에 따라 이 시간은 바뀔 수 있다.
그외에도, 로봇의 이동 속도 역시 카메라의 촬영 방향을 설정하거나 이동 경로를 생성하는데 적용될 수 있다. 로봇의 이동 속도가 느린 경우, 로봇 자체의 이동 속도가 느림으로 인해 주변 환경의 변화가 크지 않으므로, 결과적으로 카메라 센서(230)의 촬영 방향의 전환이 빈번하게 발생하지 않을 수 있다. 이 경우 제어부(250)는 로봇의 느린 이동 속도에 적합하게 카메라 센서(230)의 촬영 방향을 결정하거나, 촬영 방향의 전환 방식(촬영 메커니즘)을 설정할 수 있다.
반대로, 로봇의 이동 속도가 빠른 경우, 로봇 자체의 이동 속도가 빠름으로 인해 주변 환경의 변화가 크게 발생할 수 있으므로, 결과적으로 카메라 센서(230)의 촬영 방향의 전환이 빈번하게 발생할 수 있다. 이 경우 제어부(250)는 로봇의 빠른 이동 속도에 적합하게 카메라 센서(230)의 촬영 방향을 결정하거나, 촬영 방향의 전환 방식(촬영 메커니즘)을 설정할 수 있다.
카메라 촬영 방향의 전환 방식은 촬영 방향을 고정한 후 촬영하고, 이후 촬영 방향을 변경하는 카메라 센서(스틸 카메라)의 경우와 동적으로 촬영 방향을 변경하면서 동시에 촬영하는 카메라 센서(무빙 카메라)의 경우에 따라 달라질 수 있다.
일 실시예로 제어부(250)는 고정 방향 촬영 방식의 카메라 센서(스틸 카메라)의 촬영 방향을 설정함에 있어 해당 카메라 센서가 촬영하는 시간과, 장애물을 연속하여 감지할 수 있는 방향으로 카메라의 촬영 방향을 전환하는데 소요되는 시간에 따라 카메라 센서의 최적의 방향을 설정할 수 있다.
일 실시예로, 제어부(250)는 방향 이동형 촬영 방식의 카메라 센서(무빙 카메라)의 촬영 방향을 설정함에 있어 해당 카메라 센서가 촬영하는 시간과 촬영하면서 전환하는 방향과 화각 범위를 비교하여 카메라 센서의 최적의 방향을 설정할 수 있다. 전술한 설명은 카메라 센서 외에 라이다 센서 등 다른 장애물 감지를 위한 센서에도 적용된다. 뿐만 아니라, 장애물을 감지하는 메커니즘의 변경에는 장애물을 감지하는데 적합하게 로봇의 이동 속도를 조절하는 것을 포함한다. 일 실시예로, 동적 장애물이 빈번하게 등장하거나, 로봇의 주행 경로에 동적 장애물이 발생할 가능성이 높으면 로봇의 제어부(250)는 장애물을 빨리 감지하기 위해 로봇의 이동 속도를 줄일 수 있다.
또한, 일 실시예로 제어부(250)는 로봇의 이동 속도를 제어함에 있어서 카메라 센서가 외부의 장애물을 촬영하여 장애물을 식별하는데 소요되는 시간을 반영할 수 있다.
또한, 장애물을 감지하는 메커니즘의 변경에는 로봇의 주행 경로나 주행 방향을 설정하는 것을 포함한다. 예를 들어 좌측에서 동적 장애물들이 등장할 가능성이 높을 경우, 장애물을 빨리 감지하기 위해 로봇의 제어부(250)는 원래의 주행 경로보다 우측으로 로봇의 이동을 제어할 수 있다. 또는 좌측의 동적 장애물의 등장에 효과적으로 대처하는데 필요하도록 로봇이 좌측 영역과 이격하여 주행하도록 제어부(250)가 주행 방향을 제어할 수 있다.
장애물을 감지하는 메커니즘이란, 동적 장애물 혹은 근접해야만 확인되는 정적 장애물과 같이, 로봇이 빨리 확인하기 어려운 장애물들의 등장에도 로봇이 충돌하지 않도록 센서들을 제어하거나 주행 방식을 제어하는 메커니즘을 포함한다. 따라서, 이러한 메커니즘은 장애물의 분포와 장애물의 이동 속도 등에 따라 변경될 수 있다.
도 2는 본 명세서의 일 실시예 의한 로봇이 카메라 센서의 움직임을 제어하는 과정을 보여준다.
로봇은 이동 과정에서 주변의 장애물의 상황을 확인하고(S11) 이에 따라 카메라 센서를 움직이거나 고정시킬 수 있다. 도 2는 제어부(250)가 카메라 센서(230)를 세가지의 모드에 따라 제어한다.
먼저 제어부(250)가 이전에 센싱된 값들(비주얼 프레임, 라이다 프레임 등)에 기반하여 다음의 상황을 판단한다. 제어부(250)는 로봇의 진행 방향에 장애물이나 기타 사물들의 변화가 없는지 확인한다. 또는 제어부(250)는 진행 방향상의 센서 검출 범위 내에 위협이 되는 장애물이 없는지 확인한다. 또는 제어부(250)는 진행 방향이나 로봇이 이동하는 범위 내에 장애물의 수가 적어 현재의 FOV안에서 로봇의 회피 경로를 추정 가능한지 확인한다.
전술한 상황 중 어느 하나 이상에 해당하면, 제어부(250)는 로봇이 안전한 직진 주행이 가능한 것으로 판단하고(S12), 카메라 센서(230)의 위치를 고정한다(S13). 이는 카메라 센서(230)가 진행 방향을 지속적으로 촬영하고 제어부(250)는 촬영된 이미지, 즉 비주얼 프레임을 이용하여 장애물을 회피하거나 로봇의 이동 경로를 설정할 수 있다.
다음으로 S12에서 No의 경우, 제어부(250)는 주변환경을 고려하여 카메라 방향 변환이 필요한지(S15)를 판단 결과, 카메라의 방향 변환이 필요한 경우로 판단한다.
이는 다시 S16과 같이 세분화하면 3가지의 카메라 센서의 방향 변환 메커니즘으로 나뉘어진다. 세 가지 변환 메커니즘은 i) 방향 전환 대응 메커니즘, ii) 공간 탐색 대응 메커니즘, iii) 동작 장애물 위치의 불확실성 대응 메커니즘으로 지칭된다.
일 실시예로 제어부(250)는 방향 전환 대응 메커니즘을 수행할 수 있다. 이는 로봇이 목적지 도달을 위해 방향을 틀어야 하는 경우에 제어부(250)는 로봇이 전환할 방향으로 카메라 센서(230)를 먼저 이동시킨다. 일 실시예로 제어부(250)는 카메라 센서(230)를 회전시켜 로봇이 전환할 방향을 촬영하도록 한다. 즉, 전진하는 로봇이 좌측으로 방향 전환할 경우, 제어부(250)는 카메라 센서(230)를 좌측을 향하도록 제어한다.
그 결과 제어부(250)는 방향 전환된 카메라 센서(230)를 이용하여 로봇의 이동 예정 경로에 충돌 가능성이 있는 장애물을 확인한다. 제어부(250)가 장애물이 없다고 판단하면, 제어부(250)는 이동 예정 경로대로 로봇의 방향을 틀고, 그에 따라 로봇(1)이 주행한다.
한편, 제어부(250)가 장애물이 있다고 판단하면, 카메라 센서(230) 또는 라이다 센서(220) 등을 이용하여 해당 장애물에 대한 정보를 추가적으로 반영하여 새로이 로봇의 경로를 추정한다. 그리고 제어부(250)는 새로이 추정된 방향으로 카메라 센서(230)를 이동시켜 장애물이 있는지 확인하는 과정을 반복한다.
일 실시예로 제어부(250)는 공간 탐색 대응 메커니즘을 수행할 수 있다. 제어부(250)는 로봇의 속도(v)와 카메라 센서(230)의 왕복 이동 시간(t)을 이용하여 로봇이 이동하며 장애물을 검출할 수 있는 범위를 산출할 수 있다. 일 실시예로 v는 m/sec, t는 초 단위로 설정될 수 있다.
예를 들어 "v*t + alpha"와 같은 수식을 이용하여 로봇이 "t" 시간 이내에 이동하는 범위를 산출할 수 있다. "t" 시간 동안 카메라 센서(230)가 전체 범위 또는 진행 방향의 범위를 촬영할 수 있다.
여기서 alpha는 추가 마진을 의미한다. 제어부(250)는 장애물 감지 범위 내에 동적 장애물이 있는지, 혹은 동적 장애물이 존재할 가능성에 대한 값인 예측 값이 일정 범위 이상인지를 판단한다. 물론 제어부(250)는 장애물 감지 범위 내에 정적 장애물 역시 감지할 수 있다.
그리고, 제어부(250)는 해당 장애물을 회피할 수 있는 경로가 추정되지 않는 경우 아직 확인하지 않은 새로운 공간으로 이동하기 위해 지금까지와의 이동 방향과 상이한 방향을 탐색한다. 제어부(250)가 탐색할 방향(각도)을 결정할 때는 다음의 사항을 고려하여 로봇의 회전을 제어할 수 있다.
제어부(250)는 로봇의 회전 시 동적 장애물의 이동 경로와 중첩되지 않는 방향에 가중치를 둘 수 있다. 또는 제어부(250)는 중첩되지 않는 방향 중에서 목적지로의 이동 경로와 가까운 방향에 가중치를 둘 수 있다.
일 실시예로 제어부(250)는 동작 장애물 위치의 불확실성 대응 메커니즘을 수행할 수 있다. 예측한 장애물 위치의 불확실성(uncertainty)이 특정 값 이상인 경우, 제어부(250)는 해당 장애물 쪽으로 카메라 센서(230)를 회전시켜 장애물 위치를 재확인함으로써 위치 불확실성을 줄여준다.
여기서 제어부(250)는 장애물 위치의 불확실성을 "장애물의 속도/추정 경과 시간"에 비례하여 판단할 수 있다. 제어부(250)는 짧은 시간동안 빠른 속도의 장애물이 불확실성이 높은 것으로 판단한다.
제어부(250)는 S16 이후에 S18 단계로 진행한다. 또는 제어부(250)는 S16의 세가지 변환 메커니즘을 수행한 결과 로봇의 이동이 가능하거나 동적 장애물과 충돌할 가능성이 없을 경우 S11 단계로 진행할 수 있다.
S18에서 제어부(250)는 주기적으로 카메라 센서(230)의 방향 변환이 필요한지 판단할 수 있다. 그리고 판단 결과 필요한 경우 제어부(250)는 주기적으로 카메라 방향의 변환을 수행한다(S19).
이는 제어부(250)가 두 가지의 경우로 구분하여 카메라 센서(230)의 방향을 변환할 수 있다. 먼저, 로봇(1)이 동적 장애물에 둘러싸여 고립된 경우를 가정한다. 이는 앞서 S16의 공간 탐색 대응 메커니즘을 수행한 후에 더 이상 새로운 공간이 없는 경우에 해당한다.
즉, 제어부(250)가 카메라 센서(230)로 이동 가능하거나 확인할 수 있는 모든 방향을 확인했지만 사방이 동적 장애물로 둘러싸여있는 경우, 제어부(250)는 로봇의 회피 가능한 경로 추정이 불가능하다고 판단할 수 있다. 이 경우, 제어부(250)는 카메라 센서(230)의 방향을 주기적으로 변환하며 동적 장애물의 변화 상황을 모니터링한다. 그리고 이 과정에서 동적 장애물이 로봇으로부터 멀어지면 제어부(250)는 새로이 경로를 생성할 수 있다.
다음으로 로봇(1)과 다른 동적 장애물과의 잠정적 충돌 위협이 높은 경우 제어부(250)는 주기적으로 카메라 센서(230)의 방향을 변환할 수 있다. 검출 범위 안에 가시적인 출동 위협은 없지만 동적 장애물이 급작스럽게 나타날 수 있는 경우 제어부(250)는 카메라 센서(230)의 방향을 주기적으로 변환하며 동적 장애물의 출현을 모니터링한다. 예를 들어 로봇(1)이 제한 속도가 높은 자동차가 다니는 도로를 이동하는 경우에 해당한다. 이 경우, 제어부(250)는 시맨틱 세그먼테이션(semantic segmentation) 기법 등을 이용하여 주행 경로에 대한 상황을 판단하고 도로인지 인도인지에 따라 달리 동작할 수 있다.
도 2의 플로우를 정리하면 다음과 같다. 제어부(250)는 카메라 센서(230)가 촬영한 이미지에서 장애물을 식별한 결과 로봇의 이동 경로에 인접한 동적 장애물이 없거나 이동 경로를 기준으로 동적 장애물이 멀어지는지를 판단하여 이동 경로 상의 로봇 이동에 동적 장애물이 영향을 미치지 않음을 확인한다. 그리고, 제어부(250)는 이동 경로를 따라 로봇(1)을 이동시키며 카메라 센서(230)를 이동 방향으로 고정하도록 제어한다(S12, S13).
반면, S12에서 동적 장애물의 이동이나 새로운 정적 장애물의 배치 등으로 인해 로봇의 이동 경로의 수정이 필요한 경우, 제어부(250)는 다른 이동 경로를 생성하기 위해 이동 경로 이외의 방향으로 카메라 센서의 방향을 조절을 결정한다(S16, S19).
도 3은 본 명세서의 일 실시예에 의한 방향 전환시의 장애물의 위치 불확정성을 추정하는 과정을 보여준다.
21은 로봇이 북쪽 방향(N)을 향한 경우에 카메라 센서(230)의 화각 내에서 두 개의 장애물(O1, O2)이 센싱된 예를 보여준다. O1은 정적 장애물이므로 움직이지 않는다. O2는 화살표 방향(즉, 동남쪽 방향)으로 이동하는 동적 장애물이다. 이와 같은 장애물이 배치되면 로봇이 이들을 회피하기 위해 로봇의 방향 혹은 카메라 센서(230)의 방향을 전환할 수 있다.
예를 들어, 22에서 지시된 바와 같이, 로봇의 방향 또는 카메라 센서(230)의 방향이 왼쪽으로 회전하여 북서쪽을 향하는 경우를 살펴본다. 이 경우, 21의 O1은 카메라 센서(230)의 화각 범위에서 일부 벗어난 상태이며, 새로운 정적 장애물 O4 및 새로운 동적 장애물 O3가 센싱된다. 앞서 21에서 센싱되었던 O2에 대해 제어부(250)는 O2가 이동한 거리를 산출할 수 있다.
즉, 제어부(250)는 21에서 확인된 O2의 위치와 O2의 속도 및 이동 방향 정보를 저장할 수 있다. 그리고 22에는 O2가 카메라 센서(230)에 센싱되지는 않았으나, O2의 위치가 O2'로 이동한 결과를 산출할 수 있다. 이러한 이동 결과는 제어부(250)가 22 및 21 사이의 시간적 차이, O2의 이동 속도 및 방향을 이용하여 계산한 결과이다.
여기서 제어부(250)는 O2의 위치가 O2'로 이동한 것을 계산하며 해당 장애물의 위치 불확정성(uncertainty)를 추정할 수 있다. 즉, 21에서 22로 회전한 크기(각도)와 21과 22의 시간차에 비례하여 O2라는 장애물의 위치 차이(signma) 값을 계산하고, 이 값이 커지는 가우시안 분포를 생성하여 장애물의 위치 불확정성을 추정할 수 있다.
만약 O2의 이동 속도가 느리다면, O2의 위치 불확정성은 낮을 수 있다. 반대로 O2의 이동 속도가 높다면 O2의 위치 불확정성은 높을 수 있다.
마찬가지로, 제어부(250)는 21에서 센싱된 O1이 화각의 일부를 벗어난 상태라 하여도 21에서 확인된 위치와 크기를 기반으로 22에서 O1의 위치와 크기 등에 기반하여 장애물이 위치할 확률을 업데이트할 수 있다 즉, 제어부(250)는 22에서 O1은 매우 일부만 센싱되지만, O1이 21에서의 O1인 것으로 확인하고, 그 결과를 이용하여 22에서 O1의 일부만 센싱되어도 화각 외부에 O1의 다른 부분이 있음을 계산할 수 있다.
만약, 로봇이 22의 기준으로 다시 회전을 왼쪽으로 할 경우에는 O1과 O2는 로봇의 이동 방향에 영향을 미치지 않게 되므로 제어부(250)는 O1 및 O2에 대한 위치 불확정성을 추정하는 것을 중단할 수 있다. 또는 제어부(250)는 O1 및 O2에 대한 중요도를 낮출 수 있다.
도 3은 제어부(250)가 이미지에서 식별되는 동적 장애물의 이동 속도 및 정적 장애물에 대한 정보를 저장함으로써 21에서 22와 같이 카메라 센서(230)의 화각을 변경하여도 화각 범위 바깥에서 해당 동적 장애물이 어느 방향을 향해 어떤 속력으로 이동하는지를 확인할 수 있다. 마찬가지로 정적 장애물의 위치 역시 제어부(250)는 재계산할 수 있다.
즉, 제어부(250)는 제1방향(21의 예에서 북쪽)과 일부 중첩되는 제2방향(22의 예에서 북서쪽)에서 촬영한 이미지와 제1방향 및 제2방향의 차이 및 앞서 저장한 정보를 이용하여 동적 장애물의 위치 불확정성 및 정적 장애물의 위치를 계산할 수 있다.
동적 장애물의 위치 불확정성이란 제어부(250)가 동적 장애물의 속도를 이용하여 일정 시간 이후 동적 장애물이 위치할 수 있는 지점을 계산한 결과에 기반한다. 제어부(250)가 계산한 결과, 동적 장애물이 위치할 수 있는 예상 지점의 후보지점이 많을수록 동적 장애물의 위치 불확정성이 높은 것을 의미한다.
동적 장애물이 등속 운동을 하지 않거나, 방향을 자주 바꾸는 등의 경우에 동적 장애물의 위치 불확정성이 높아지며, 위치가 불확정됨으로 인해 로봇의 이동에 영향을 미칠 가능성도 높아진다. 제어부(250)는 동적 장애물의 위치 불확정성이 높을 경우, 이동 경로를 수정할 수 있다.
또한, 제어부(250)는 동적 장애물과 정적 장애물의 위치를 맵 저장부(210)의 로컬 맵에 반영할 수 있다. 이때, 제어부(250)는 동적 장애물의 저장시간을 짧게 설정하여, 일정 시간 이후 로컬 맵에서 자동으로 삭제되도록 할 수 있다.
도 3의 21 및 22를 이용할 경우, 로봇은 정적 장애물과 동적 장애물을 구분할 수 있다. 이에 대해 좀더 상세히 살펴본다.
도 4는 본 명세서의 일 실시예에 의한 정적 장애물을 선별하는 과정을 보여준다.
31은 카메라 센서(230)가 로봇의 주변을 영상으로 촬영한 이미지를 지시한다. 이미지는 동일한 방향으로 1회 이상 촬영될 수 있다. 카메라 센서(230)가 2회 이상 시간 간격을 두고 촬영할 경우에는 동적 장애물의 선별이 용이할 수 있다.
제어부(250)는 장면 파싱(Scene Parsing)을 수행한다(32). 제어부(250)는 이미지(31)에 특징맵(feature map)을 적용하거나, 딥러닝 네트워크를 적용하거나, 또는 글로벌 풀링(Global pooling), 피라미드 장면 파싱(pyramid s scene parsing) 등을 적용하여 이미지 내의 사물들 사이의 관련성을 판단한다.
그 결과 제어부(250)는 33과 같이 장면 파싱된 결과물을 산출한다. 그리고 제어부(250)는 정적 클래스 추출자(static class extractor)(34)를 적용하여 이미지 내에서 35와 같이 정적 사물들을 추출한다. 그리고 맵 생성자(map generator)(36)를 적용하여 37과 같이 정적 장애물이 포함된 로컬 맵(Local map with static obstacles)을 생성한다.
특히, 제어부(250)는 39에서 벤치가 표시되는 것과 같이, 2차원 라이다 센서가 검출할 수 없는 정적 장애물을 맵 상에 표현할 수 있다.
도 4의 과정을 정리하면, 로봇의 제어부(250)는 입력된 이미지(31)의 장면을 분석하여 이미지 내의 사물들의 관계를 산출한다(33). 그리고, 이미지 내의 사물들이 가지는 정적 수준(static level)을 판단하여 정적 장애물들을 추출하고 이에 기반하여 맵을 생성한다.
이후, 로봇(1)은 생성된 로컬 맵을 이용하여 주변의 정적 장애물을 확인할 수 있다.
도 5는 본 명세서의 일 실시예에 의한 제어부가 동적 객체들을 식별하여 추적한 결과를 보여준다.
일 실시예로 제어부(250)는 제1시점에 촬영된 이미지(41)에서 동적 객체인 사람을 식별할 수 있다. 또한 제어부(250)는 제1시점을 기준으로 T라는 시간적 차이를 두고(예를 들어 1초) 제2시점에 촬영된 이미지(42)에서 동적 객체를 식별할 수 있다. 식별된 각각의 객체들은 "id=###"으로 식별된다.
또 다른 실시예로, 로봇(1)의 제어부(250)는 시간적 차이 T에 따라 촬영된 이미지 41 및 42에서 동일하지만 위치가 상이한 객체들을 식별한다. 그리고 이들 객체들에 대해 각각 식별 번호를 할당할 수 있다.
그리고 제어부(250)는 식별번호가 할당된 객체들의 움직임을 이미지 촬영을 통해 확인할 수 있다.
도 6은 본 명세서의 일 실시예에 의한 제어부가 이미지에서 장애물을 식별하는 과정을 보여준다. 제어부(250)는 카메라 센서(230)가 촬영한 이미지에서 정적 장애물 식별한다(S45). 앞서 도 4에서 살펴본 바와 같이 장면 파싱 및 정적 클래스 추출자를 이용하여 이미지 내에서 정적 장애물을 식별할 수 있다.
다음으로, 제어부(250)는 카메라 센서(230)가 촬영한 이미지에서 동적 장애물 식별한다(S46). 앞서 도 5에서 살펴본 바와 같이 제어부(250)는 시간차이를 가지고 촬영된 둘 이상의 이미지들 간에 차이가 발생한 객체에 식별 정보를 추가할 수 있다. 또는 제어부(250)는 동일한 이미지에서 정적 장애물을 제거한 후 남겨진 객체들을 동적 장애물로 판단할 수 있다.
이후 제어부(250)는 S45 및 S46에서 확보된 정적 장애물 및 동적 장애물들에 대한 정보를 저장한다. 그리고, 제어부(250)는 촬영 방향에 전환이 있을 경우, 식별된 정적 장애물 및 동적 장애물을 추적하여 및 이들의 위치를 맵에 반영한다. 이 경우, 로봇(1)은 실제 카메라 센서(230)에 촬영되지는 않았지만 로봇(1)의 주변에 배치된 동적/정적 장애물을 식별하여 회피할 수 있다.
도 7은 본 명세서의 일 실시예에 의한 로봇이 동적 장애물을 감지하는 범위를 보여준다. 제어부(250)는 R로 표기된 로봇(1)을 중심으로 로봇의 속도인 v와 카메라의 왕복 이동 시간인 t 초를 기준으로 로봇이 감지해야 하는 범위(장애물 감지 범위)(50)를 설정할 수 있다. 이때, 시간적 오차 또는 기계적 오차 등을 반영하도록 "alpha" 값을 마진으로 둔다.
그 결과 제어부(250)는 "v*t + alpha"에 기반하여 동적 장애물을 감지하는 범위(50)를 산출한다. 그리고 50이 지시하는 범위 내에 동적 장애물 또는 그 예측 값이 존재하며, 해당 장애물을 회피할 수 있는 경로가 추정되지 않는 경우 아직 확인하지 않은 다른 방향을 탐색한다.
일 실시예로, 로봇(1)이 "TARGET"이라는 방향으로 이동하는 과정에서 제어부(250)가 산출한 감지 범위(50) 내에 O2라는 장애물이 포함되지 않은 상태이다. 그러나, 제어부(250)는 O2의 이동 방향 및 이동 속도를 계산하고, 로봇(1)이 "TARGET"으로 이동하는 과정에서 O2와 충돌할 가능성이 있는 것으로 판단할 수 있다. 충돌할 가능성이 있을 경우, 방향을 전환하기 위해 새로운 영역을 탐색하는 것이 필요하다. 이에 대해 도 8에서 살펴본다.
도 7에서 제어부(250)는 로봇(1)의 이동 속도와 카메라 센서(230)가 전방향 또는 진행 방향을 촬영하는데 소요되는 시간(t)을 이용하여 장애물 감지 범위(50)를 계산할 수 있다. 도 7의 50은 로봇을 중심으로 하는 원형이다. 그러나 로봇(1)의 이동 속도 혹은 로봇의 방향 등에 따라 제어부(250)는 50a와 같이 로봇의 전방을 중심으로 하는 장애물 감지 범위를 설정할 수 있다.
또는 제어부(250)는 로봇이 이동하는 방향의 장애물 감지 범위(50b)는 타원 형태로 설정할 수 있다. 이는 로봇(1)의 좌측 및 우측의 장애물의 진입을 확인할 수 있도록 한다. 그리고 로봇(1)의 진행 방향의 반대쪽으로는 50c와 같이 작은 범위의 사다리꼴 형태로 장애물 감지 범위를 설정할 수 있다. 그 결과 장애물 감지범위는 50b와 50c를 합친 범위가 된다.
로봇의 속도는 방향과 속력이라는 정보를 포함하므로, 제어부(250)는 이에 기반하여 장애물 감지 범위를 계산할 수 있다. 그리고 제어부(250)는 동적 장애물이 장애물 감지 범위 내에 포함되는지를 계산하여 카메라 센서의 촬영 방향을 조절하거나 로봇의 이동 방향을 전환할 수 있다.
이 과정에서 제어부(250)는 동적 장애물이 확인된 범위에 따라 감지 범위를 재계산할 수 있다. 예를 들어, 도 7의 50b/50c와 같이 감지 범위를 계산했으나, 좌측 및 우측에 동적 장애물이 지속적으로 감지되면 다시 제어부(250)는 50과 같이 장애물 감지 범위를 설정하여 전후좌우 모든 방향의 장애물의 접근을 확인할 수 있다.
도 8은 본 명세서의 일 실시예에 의한 로봇의 이동 방향과 탐색 순위의 상관관계를 보여준다. 앞서 도 2의 S16을 세분화한 메커니즘 중에서 ii) 공간 탐색 대응 메커니즘에 적용할 수 있다. 앞서 도 7과 같이 로봇의 이동 범위 내에 동적 장애물이 등장한 경우, 제어부(250)는 새로운 방향을 탐색할 수 있다. 이때, 새로운 공간을 탐색할 때의 우선 순위를 제어부(250)가 결정할 수 있다.
로봇(1)은 "TARGET"으로 지시된 방향을 목적지로 하고 있다. 로봇(1)이 카메라 센서(230)로 탐색할 수 있는 영역을 모두 삼각형으로 표시하였으며 이는 화각(FOV)을 의미한다.
TARGET 방향으로 이동하기 위해서 로봇(1)의 탐색 우선 순위는 G1/G2/G3/G4/G5 로 설정된다. G1은 이동하려는 방향에 가장 근접한 방향이며 동적 장애물이 없으므로 로봇(1)의 탐색할 범위 중 가장 우선 순위가 높다.
다음으로 G2의 경우 동적 장애물들이 배치되어 있으나, 동적 장애물의 이동 방향 및 경로가 로봇(1)의 "TARGET"을 향한 이동 방향 및 경로와 중첩되지 않는다. 따라서 제어부(250)는 G2에 대한 가중치를 높인다.
G3, G4, G5는 "TARGET"과 반대 쪽에 위치하므로 제어부(250)는 이에 대한 가중치를 낮춘다. 만약 G1/G2 방향으로 로봇(1)이 이동할 수 없는 상황이 되면, 그때, 로봇(1)의 제어부(250)는 G3, G4, G5 영역을 탐색할 수 있다.
제어부(250)는 도 8에 예시적으로 나타낸 방식과 같이, 카메라 센서(230)의 화각을 기준으로 로봇(1)의 주변의 일정 범위에 대해 탐색 순위를 설정한다. 그리고 제어부(250)는 탐색 순위가 높은 영역을 중심으로 장애물을 식별하여 로봇(1)의 이동 경로를 설정할 수 있다.
특히, 제어부(250)는 탐색 순위가 높은 영역들(G1, G2) 중에서 동적 장애물과 충돌하지 않으면서 목적지인 TARGET으로 향하는 경로 중 가장 짧은 이동 경로 또는 가장 시간이 적게 소요되는 이동 경로를 선택할 수 있다.
정리하면, 제어부(250)는 동적 장애물이 장애물 감지 범위 내에 포함될 경우, 카메라 센서의 화각을 기준으로 로봇의 주변 공간을 둘 이상의 탐색 공간을 분할한다. 그리고 제어부(250)는 탐색 공간 별로 이전의 동적 장애물의 이동 방향 또는 새로운 동적 장애물의 이동 방향과 로봇의 목표지점(TARGET)을 비교하여 로봇의 이동 경로를 설정할 수 있다.
도 9는 본 명세서의 일 실시예에 의한 동적 장애물의 위치 추정을 수행하는 과정을 보여준다.
앞서 S16에서 동적 장애물에 대응적으로 카메라 센서의 방향을 변환하는 실시예를 살펴보았다. 보다 상세히, 도 9에서 R로 표기된 로봇(1a)의 주변으로 "O"로 표기된 동적 장애물이 이동한다.
예를 들어 로봇(1a)의 주변으로 사람이 지나가는 경우를 일 실시예로 한다. 사람은 이동 속도나 방향이 일정하지 않을 수 있으므로, 로봇(1a)의 제어부(250)는 "O"라는 동적 장애물의 위치에 대한 불확실성을 계산한다. 계산 결과 "O"라는 장애물의 장애물 위치 불확실성이 증폭하면(Uncertainty explosions), 제어부(250)는 이러한 장애물은 로봇(1a)의 주행 경로를 추정함에 있어 방해가 되는 것으로 판단하다.
도 9에서 로봇(1a)의 주변에서 장애물(O)이 이동함에 따른 장애물의 위치의 불확실성을 각각 51, 52, 53과 같이 표시하였다. 51, 52, 53은 장애물이 현재 또는 향후 배치될 수 있는 위치의 범위이다. 53과 같이 일정 크기 이상 불확실성이 커지면, 로봇(1b)의 제어부(250)는 장애물 쪽으로 카메라를 회전시켜 장애물 위치를 재확인함으로써 53과 같이 위치 불확실성을 줄여준다.
정리하면, 제어부(250)는 로봇 주변의 동적 장애물의 속도를 반영하여 위치 불확실성을 계산한다. 그리고 계산 결과 불확실성이 일정 기준 이상일 경우 제어부(250)는 동적 장애물을 카메라 센서가 촬영하도록 제어하여 해당 동적 장애물의 불확실성을 재계산할 수 있다.
도 10은 본 명세서의 일 실시예에 의한 보조 센서를 이용하여 공간을 탐색하는 과정을 보여준다. 앞서, 도 2의 S16 과정에서 로봇은 새로운 공간을 탐색하는 메커니즘을 수행할 수 있으며, 이 과정에서 로봇(1)은 카메라 센서(230) 외에 다른 센서를 보조적 센서로 이용할 수 있다. 보조적 센서의 일 실시예는 라이다 센서(220)를 포함한다.
제어부(250)는 카메라 센서(230)가 촬영한 이미지에서 동적 장애물의 이동 경로와 중첩되지 않는 방향을 결정한다(S55). 도 8의 실시예를 적용할 수 있다. 여기서 제어부(250)는 하나 이상의 방향들에 대해 가중치를 설정하고 가중치가 높게 설정된 하나 이상의 방향들을 선택할 수 있다.
또한, 제어부(250)는 보조 센서가 장애물을 센싱하지 않은 방향을 결정한다(S56). 일 실시예로 라이다 센서(220)가 장애물 여부를 센싱할 수 있다. 여기서 제어부(250)는 하나 이상의 방향들에 대해 가중치를 설정하고 가중치가 높게 설정된 하나 이상의 방향들을 선택할 수 있다.
제어부(250)는 S55에서 결정된 방향 및 S56에서 결정된 방향 중 목적지로의 이동 경로에 가까운 방향을 선택한다(S57).
그리고 제어부(250)는 S57에서 선태간 방향으로 카메라 센서(230)를 이동시켜 해당 공간에 장애물이 있는지 확인한다(S58). 확인 결과 제어부(250)는 장애물의 유무에 따라 로봇의 이동 또는 새로운 방향 탐색을 수행한다(S59).
도 10는 로봇이 장애물을 회피하기 위해 새로운 공간 탐색을 필요로 하는 시점에서 카메라 센서(230) 보다 화각이 더 넓은 라이다 센서(220)와 같은 보조 센서를 이용하여 공간 탐색의 속도나 효율을 높일 수 있다.
이때, 라이다 센서는 빠른 센싱을 위해 2차원 라이다 센서인 것을 일 실시예로 한다. 또는 라이다 센서가 3차원인 경우에도 카메라 센서(230) 보다 빠르게 센싱할 경우 보조 센서로 적용 가능하다.
앞서, 도 7의 실시예에서 감지 범위(50) 내에 동적 장애물이 위치하거나, 혹은 감지 범위(50) 내에 동적 장애물이 이동하여 위치할 가능성(예측값)이 존재할 수 있다. 이때, 제어부(250)는 해당 장애물을 회피할 수 있는 경로를 추정하지 못할 경우, 보조 센서에 의해 1차적으로 판단한다. 예를 들어, S55, S56, S57의 과정을 수행하여 확정된 특정 방향으로 카메라 센서(230)를 이동한다(S58).
도 11은 본 명세서의 일 실시예에 의한 보조 센서를 이용한 방향 전환 과정을 보여준다. "R"로 표시된 것은 로봇이다. 61이 지시하는 구성에서 61f와 같이 로봇(R)의 카메라 센서(230)가 FOV 내에 장애물을 감지한다. 또한, 보조 센서(예를 들어 라이다 센서) 역시 61s와 같이 장애물을 감지한다.
따라서, 로봇(1)은 두 개의 센서 모두 장애물을 감지하지 않은 클리어 영역(clear area)을 후보 방향으로 판단한다. 그리고 해당 방향으로 카메라 센서(230)를 이동시킨다. 그 결과 62와 같이 카메라 센서(230)가 장애물을 감지하는 경우와 63과 같이 카메라 센서(230)가 장애물을 감지하지 않은 경우로 나뉘어진다.
먼저, 62와 같이, 클리어 영역으로 카메라 센서(230)를 이동시킨 후, 앞서 보조 센서가 검출하지 못한 장애물(예를 들어 상방 장애물 또는 하방 장애물)이 검출될 수 있다. 이 경우, 제어부(250)는 장애물 정보를 업데이트한 후 다시 경로를 재탐색한다.
다음으로 63과 같이 클리어 영역으로 카메라 센서(230)를 이동시킨 후, 카메라 센서(230) 역시 장애물을 감지하지 않은 경우에 해당 방향으로 주행 경로를 추정한다.
정리하면, 제어부(250)는 61과 같이 특정 방향의 장애물을 카메라 센서(230)가 검출한 결과와 이보다 넓은 범위의 방향에서 라이다 센서(220)가 장애물을 검출한 결과를 취합한다. 그리고, 제어부(250)는 장애물이 없을 것으로 1차 확인된 방향으로 카메라 센서(230)를 이동시켜 라이다 센서(220)가 확인하지 못한 장애물이 있는지를 판단한다.
그 결과 1차 확인된 방향에서 장애물이 없는 것으로 2차 확인되면 제어부(250)는 63과 같이 로봇의 이동 경로를 추정하여 이동을 수행한다. 만약 1차 확인된 방향에서 장애물이 감지되면 제어부(250)는 62와 같이 새로운 방향 중에서 주행 가능한 방향을 탐색한다.
도 10 및 도 11을 정리하면 다음과 같다.
보조 센서의 일 실시예로 라이다 센서(220)가 로봇의 주변에 배치된 장애물과 로봇 사이의 거리를 측정한다. 그리고 제어부(250)는 라이다 센서(220)의 센싱 결과 및 카메라 센서(230)의 센싱 결과를 이용하여 클리어 영역(clear area)을 확정한다. 그리고 제어부(250)는 62 및 63에 도시된 바와 같이, 클리어 영역을 카메라 센서(230)가 촬영한 결과에 로봇의 이동 경로를 재설정한다.
도 12는 본 명세서의 일 실시예에 의한 카메라 센서가 화각 범위 이상으로 영상을 취득하는 과정을 보여준다.
도 12의 65는 카메라 센서가 레일(65r) 위를 이동하며 영상을 촬영하는 과정을 보여준다. 도 12의 66은 카메라 센서가 회전하며 영상을 촬영하는 과정을 보여준다.
카메라 센서(230)는 성능에 따라 다양한 특성을 가진다. 예를 들어, 스틸 카메라로 구성된 카메라 센서(230)의 경우 카메라가 정지된 상태에서 로봇의 주변을 촬영한다. 한편, 세미 무빙 카메라로 구성된 카메라 센서(230)의 경우 카메라가 이동하는 과정에서 속도를 낮추어 영상을 취득할 수 있다. 카메라는 소정의 기계적 구성물과 결합하여 방향을 조절할 수 있다. 예를 들어 카메라가 소정의 레일 위에 배치되어 이동하거나, 카메라가 톱니바퀴와 맞물려서 촬영 방향이 변경될 수 있다.
또한, 무빙 카메라로 구성된 카메라 센서(230)의 경우 카메라는 이동하면서 지속적으로 영상을 촬영할 수 있다.
제어부(250)는 카메라 센서(230)의 위치를 주기적으로 이동시키거나 회전시키면서 영상을 취득할 수 있다. 각각의 카메라 센서(230)의 특징에 따라 카메라 센서를 제어하는 과정을 살펴보면 다음과 같다.
일 실시예로 스틸 카메라로 구성된 카메라 센서는 도 12의 65 또는 66과 같이 영상을 촬영할 수 있다. 제어부(250)는 65와 같이 레일 상의 카메라 센서가 이동 가능한 경로를 등간격으로 나눈다. 또는 제어부(250)는 66과 같이 회전 가능한 각도를 등간격으로 나눈다. 그리고 제어부(250)는 카메라 센서(230)를 이동/회전시킬 때 해당 지점에서 카메라를 정지시킨 상태에서 영상을 취득한다.
스틸 카메라를 이용할 경우, 한 주기 동안 촬영하는데 걸리는 시간이 길 수 있다. 스탈 카메라를 카메라 센서(230)로 사용할 경우, 제어부(250)는 불확정성이 높더라도 블러를 최소화한 영상을 획득할 수 있다.
일 실시예로 세미 무빙 카메라로 구성된 카메라 센서가 설치된 로봇의 경우, 제어부(250)는 65와 같이 레일 상의 카메라 센서가 이동 가능한 경로를 등간격으로 나눈다. 또는 제어부(250)는 66과 같이 회전 가능한 각도를 등간격으로 나눈다.
그리고, 제어부는 카메라 센서를 이동시킬 때 해당 지점에서 카메라의 속도를 늦춘 상태에서 영상을 취득한다. 세미 무빙 카메라를 카메라 센서(230)로 사용할 경우 제어부(250)는 블러와 불확정성 모두 일정 수준보다 낮은 값을 가지는 영상을 획득할 수 있다.
일 실시예로 무빙 카메라로 구성된 카메라 센서가 설치된 로봇의 경우, 제어부(250)는 카메라 센서를 이동시키면서 동영상을 촬영할 수 있다. 즉, 제어부(250)는 무빙 카메라를 이용하여 지속적으로 연속된 영상을 획득할 수 있다.
제어부(250)는 필요에 따라 블러가 심하다고 판단되는 구간에서는 카메라의 이동 속도를 늦출 수 있다. 예를 들어 이러한 구간은 이동 속도가 빠른 장애물을 촬영하는 경우에 해당한다. 무빙 카메라를 카메라 센서(230)로 사용할 경우 제어부(250)는 불확정성을 최소화할 수 있다.
또한, 제어부(250)는 스틸 카메라가 특정한 방향을 촬영하도록 설정함에 있어서도 장애물의 등장 가능성에 따라 스틸 카메라의 촬영 방향을 재설정할 수 있다. 예를 들어, 로봇을 기준으로 좌측 혹은 우측 중에서 장애물이 등장할 가능성이 높을 경우, 해당 방향으로 치우치도록 스틸 카메라의 방향을 설정할 수 있다.
예를 들어, 로봇이 직진 이동하는 과정에서 좌측에서 장애물이 등장할 가능성이 높을 경우, 제어부(250)는 스틸 카메라의 촬영 방향을 직진 방향에서 좌측으로 A 각도 만큼 전환하도록 제어한다.
A 각도란 10도 또는 15도 등과 같이 직진 방향에서 약간 치우친 상태에서 직진 방향의 사물들을 촬영할 수 있는 범위를 의미한다. A 각도의 크기는 카메라의 화각 범위에 따라 달라질 수 있다. 예를 들어 화각 범위가 넓을 경우, A 의 크기는 증가할 수 있다. 화각 범위가 좁을 경우 A의 크기는 감소할 수 있다.
예를 들어, 화각 범위가 90도 인 경우, A를 15도로 설정할 경우에 로봇의 직진 방향을 기준으로 우측 30도에서 좌측 60도까지 카메라 센서가 촬영할 수 있다. 한편, 화각 범위가 120도인 경우, A를 20도로 설정할 경우에 로봇의 직진 방향을 기준으로 우측 40도에서 좌측 80도까지 카메라 센서가 촬영할 수 있다.
마찬가지로, 제어부(250)는 무빙 카메라가 특정한 방향을 촬영하면서 좌측 또는 우측으로 촬영 방향을 전환함에 있어서, 장애물의 등장 가능성에 따라 무빙 카메라의 촬영 방향을 재설정할 수 있다.
예를 들어, 로봇을 기준으로 좌측 혹은 우측 중에서 장애물이 등장할 가능성이 높을 경우, 카메라가 언제든지 해당 방향으로 전환할 수 있도록 무빙 카메라의 전환 방향을 설정할 수 있다.
예를 들어, 로봇이 직진 이동하는 과정에서 좌측에서 장애물이 등장할 가능성이 높을 경우를 가정한다. 제어부(250)는 무빙 카메라의 촬영 방향의 전환이 좌->우로 전환 중이라면, 이를 다시 우->좌로 전환하도록 설정한다. 또는 일정 각도의 크기 내에서 좌->우->좌로 무빙 카메라의 촬영 방향이 전환되도록 설정한다.
예를 들어, 좌/우측의 장애물 등장 가능성이 동일할 경우에 무빙 카메라 센서는 로봇의 직진 방향을 기준으로 좌측으로 30도에서 우측으로 30도 사이에서 촬영 방향을 전환할 수 있다.
반면, 좌측에 장애물 등장 가능성이 높아질 경우, 제어부(250)는 무빙 카메라의 촬영 방향을 직진 방향을 기준으로 좌측으로 40도에서 우측으로 20도 사이에서 촬영 방향을 전환할 수 있다. 이 경우, 좌측 범위를 보다 빈번하게 무빙 카메라가 촬영할 수 있다. 그리고 이러한 각도 역시 카메라의 화각 크기에 따라 달라질 수 있다.
예를 들어, 화각 범위가 90도 인 경우, 제어부(250)는 로봇의 직진 방향을 기준으로 우측 30도에서 좌측 60도 사이에 무빙 카메라의 촬영 방향이 설정되도록 무빙 카메라를 제어할 수 있다. 한편, 화각 범위가 120도인 경우, 제어부(250)는 로봇의 직진 방향을 기준으로 우측 40도에서 좌측 80도 사이에 무빙 카메라의 촬영 방향이 설정되도록 무빙 카메라를 제어할 수 있다.
도 13은 본 명세서의 일 실시예에 의한 제어부가 주변 상황에 따라 카메라 센서의 움직임을 조절하는 과정을 보여준다.
로봇의 주변에 배치된 장애물들의 속도 또는 장애물들의 분포에 따라 로봇이 이동하는 공간이 혼잡할 수 있다. 따라서 제어부(250)는 진행 방향에 배치된 장애물들의 분포 또는 장애물들의 속도를 반영한 혼잡도를 계산한다(S71). 이 장애물들은 동적 장애물 또는 정적 장애물을 하나 이상 포함한다.
제어부(250)의 계산 결과 혼잡도가 일정 수준 이하인 경우(S72), 제어부(250)는 카메라 센서의 촬영 방향을 고정하도록 제어하고 로봇의 주행을 지속시킨다(S73). 촬영 방향은 로봇의 주행 방향을 포함한다.
한편, 제어부(250)의 계산 결과 혼잡도가 일정 수준 이상인 경우(S72), 제어부(250)는 혼잡한 방향(혼잡도가 높은 영역)으로 카메라 센서의 촬영 방향을 이동시켜 넓은 영역을 촬영한다(S75).
즉, 제어부(250)는 카메라 센서의 촬영 방향을 혼잡도가 높은 영역을 향하도록 조절하여 해당 영역에서 장애물을 회피할 수 있도록 한다. 그리고 제어부(250)는 촬영된 영상에 기반하여 로봇의 주행을 제어한다(S76).
S73 또는 S76 단계에서 제어부는 현재 로봇이 특정 공간으로 진입하는지 확인한다(S77). 예를 들어 전술한 특정 공간이란, 횡단보도와 같이 로봇이 일정 시간 내에 반드시 통과해야 하는 영역이라거나, 도로와 같이 차량들이 빨리 이동하는 공간 등을 포함한다. 또한, 전술한 특정 공간은 로봇의 이동 제한 속도가 특정 값 이상인 것을 일 실시예로 한다.
이와 같은 공간에서 로봇은 신속하게 이동해야 한다. 따라서 신속하게 장애물들을 감지해서 이동해야 한다. 이를 위해 제어부(250)는 주행 방향 전체 영역(또는 로봇의 주변 전체 영역)을 카메라 센서가 촬영하도록 제어하고 촬영한 영상에 따라 로봇의 주행을 제어한다(S78).
도 14는 본 명세서의 일 실시예에 의한 카메라 센서의 촬영 방식을 보여준다. 제어부(250)는 T-1 영상과 같이 진행 방향에 대해 촬영하여 장면 파싱한 결과, 혼잡도가 높은 것으로 판단한다. 이때, 제어부(250)는 진행 방향에 인접한 다른 영역에 대해서도 카메라 센서의 촬영 방향을 조절하여 T 영상과 같이 촬영한다.
보다 상세히, 제어부(250)는 카메라 센서가 촬영한 T-1영상(B-C 구간)에서 혼잡도를 계산한다. 혼잡도 계산 결과 혼잡도가 높으면 B 영역만큼 중첩되도록 하여 A-B 구간 영역을 촬영하여 T 영상을 생성한다.
이때, 제어부(250)는 로봇의 진행방향(T-1 영상이 촬영된 영역)에서 로봇이 장애물을 회피하기 위해 탐색할 수 있는 방향을 선택하여 T 영상을 촬영할 수 있다. 이 과정에서 T 영상 및 T-1영상의 중첩된 영역 B가 존재하며 C 구간은 T-1영상 촬영 과정에서 저장하는 정보가 된다. 그리고 A 구간은 T 영상 촬영으로 추가로 확보된 구간이다. 제어부(250)는 A-B-C 구간의 장애물을 식별하여 로봇의 이동을 제어할 수 있다.
또한, 로봇은 도 13의 S78과 같이 넓은 영역에 대해서도 촬영을 수행할 수 있다. 이 경우, 제어부(250)는 카메라 센서(230)를 이동시켜 주행방향과 인접한 방향 외에도 넓은 범위에 대해 카메라 센서(230)가 영상을 촬영하도록 제어한다. 그 결과에 따라 제어부(250)는 로봇이 특정 공간 내에서 충돌 없이 빨리 이동할 수 있도록 한다.
정리하면, 제어부(250)는 카메라 센서(230)가 제1방향에서 촬영한 제1이미지(T-1 영상)와 제2방향에서 촬영한 제2이미지(T 영상)를 결합한 제3이미지(A-B-C 구간)에서 장애물을 판단한다. 그리고 제어부(250)는 제1이미지(T-1 영상) 및 제2이미지(T 영상)가 중첩된 영역(B)을 가지도록 카메라 센서(230)의 촬영 방향을 제어할 수 있다.
두 영상을 촬영하기 위한 각도는 화각에 따라 또는 카메라 센서(230)의 촬영 방식에 따라 달라질 수 있다.
또한, T-1 영상의 B에 해당하는 영역에서 동적 장애물이 다수 확인될 경우에 제어부(250)는 B의 크기를 증가시킬 수 있다. 이 경우, T-1영상을 촬영 후 T영상을 촬영시 카메라 센서의 촬영 방향의 각도 전환 크기가 기준 각도보다 작을 수 있다. 예를 들어, 화각이 120도인 경우, 각도 전환의 기준 각도는 110도가 될 수 있다. 그러나 제어부(250)가 B의 크기를 증가시키는 것으로 판단한 경우, 카메라 센서(230)는 100도만큼 각도 전환이 될 수 있다.
반대로, 이때, T-1 영상의 B에 해당하는 영역에서 동적 장애물이 없는 것으로 확인될 경우에 제어부(250)는 B의 크기를 감소시킬 수 있다. 이 경우, T-1영상을 촬영 후 T영상을 촬영시 카메라 센서의 촬영 방향의 각도 전환이 기준 보다 클을 수 있다. 예를 들어, 화각이 120도인 경우, 각도 전환의 기준 각도는 110도가 될 수 있다. 그러나 제어부(250)가 B의 크기를 감소시키는 것으로 판단한 경우, 카메라 센서(230)는 115도만큼 각도 전환이 될 수 있다.
도 15는 본 명세서의 일 실시예에 의한 카메라 센서의 배치 위치를 보여준다. 81은 로봇의 헤드 부분에 카메라 센서(230)가 배치되고, 카메라 센서(230) 보다 낮은 위치에 라이다 센서(220)가 배치된 구성을 보여준다. 로봇의 헤드 부분은 좌우 회전이 가능하므로 카메라 센서(230)를 좌측 또는 우측으로 회전시켜 영상을 촬영할 수 있다.
82 역시 로봇의 헤드 부분에 카메라 센서(230)가 배치되고, 카메라 센서(230) 보다 낮으며 지면에 가까운 위치에 라이다 센서(220)가 배치된 구성을 보여준다. 로봇의 헤드 부분은 좌우 회전이 가능하므로 카메라 센서(230)를 좌측 또는 우측으로 회전시켜 영상을 촬영할 수 있다.
도 15의 예시적 형상 외에도 로봇은 다양한 형태를 가질 수 있으며 또한 카메라 센서(230)를 이동 또는 회전시키는 구성을 포함한다. 카메라 센서(230)의 촬영 방향을 조절함으로써, 카메라 센서(230)가 가지는 화각의 한계를 벗어나 넓은 영역을 촬영할 수 있다.
특히, 본 명세서의 실시예들을 적용할 경우, 한 대 또는 적은 수의 카메라를 사용하여 주변 장애물을 인식하는 경우 FOV가 좁아 FOV 바깥의 상황을 경로 계획에 반영하지 못하는 문제를 해결한다. 즉, 적은 수의 카메라 센서를 이용하여 많은 카메라 센서를 이용한 것과 동일한 효과인 넓은 화각의 영상을 산출하면서, 카메라 센서의 개수를 줄일 수 있다.
특히, 제어부(250)는 카메라 센서의 위치를 주기적으로, 또는 상황에 맞게 이동하여 화각 확장의 효과를 높일 수 있다. 또한, 제어부(250)는 장애물의 위치나 속도를 예측하고, 예측된 장애물의 위치에 대한 정보를 조합하여 확장된 로컬 맵(local map)에 장애물의 위치 정보를 입력한다. 이 과정에서 정적인 장애물은 맵 상에 가중치(weight)형태로 누적될 수 있다.
외부의 장애물의 배치 상황이나 로봇의 이동 속도 등에 기반하여 카메라 센서(230)의 촬영 방향을 조절할 수 있으므로, 확장된 FOV의 효과에 기반하여 로봇의 주행 성능을 높일 수 있다. 또한, 촬영한 영상의 장애물 정보를 누적 저장함으로써, 카메라 센서(230)의 촬영 방향이 변경됨으로 인해 촬영되지 못한 장애물 정보를 추적 확인하여 로봇의 주행 경로 생성시 반영한다.
특히, 로봇이 움직일 수 없도록 장애물 등으로 인해 고립된 상태에서도 제어부(250)는 카메라 센서(230)를 회전 또는 이동시켜 주변 상황을 촬영할 수 있다. 그 결과 로봇 전체가 이동하거나 회전할 필요 없이 전체 방향의 영상을 촬영할 수 있어 전력 효율을 높일 수 있다.
본 명세서에서 로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

Claims (20)

  1. 로봇에 배치되며 촬영 방향이 조절되는 카메라 센서; 및
    상기 카메라 센서가 제1방향에서 촬영한 이미지에서 장애물을 식별하고 상기 식별된 장애물의 이동 속도와 상기 장애물의 분포에 따른 혼잡도와 상기 로봇의 이동 속도에 따라 상기 장애물을 감지하는 메커니즘을 변경하고 상기 로봇의 이동 경로를 생성하는 제어부를 포함하는, 동적 장애물을 식별하는 로봇.
  2. 제1항에 있어서,
    상기 제어부가 상기 이미지에서 장애물을 식별한 결과 상기 로봇의 이동 경로에 인접한 동적 장애물이 없거나 상기 이동 경로를 기준으로 동적 장애물이 멀어지면 상기 제어부는 상기 이동 경로를 따라 상기 로봇을 이동시키며 상기 카메라 센서를 상기 이동 방향으로 고정하도록 제어하는, 동적 장애물을 식별하는 로봇.
  3. 제1항에 있어서,
    상기 제어부가 상기 이미지에서 장애물을 식별한 결과 상기 이동 경로 이외의 방향으로 상기 카메라 센서의 방향을 조절을 결정하는, 동적 장애물을 식별하는 로봇.
  4. 제1항에 있어서,
    상기 제어부는 상기 촬영한 이미지에서 식별되는 제1동적 장애물의 이동 속도 및 제1정적 장애물에 대한 정보를 저장하며,
    상기 제어부는 상기 제1방향과 일부 중첩되는 제2방향에서 촬영한 이미지와 상기 제1방향 및 제2방향의 차이 및 상기 저장한 정보를 이용하여 상기 제1동적 장애물의 위치 불확정성 및 상기 제1정적 장애물의 위치를 계산하는, 동적 장애물을 식별하는 로봇.
  5. 제4항에 있어서,
    상기 제어부는 상기 로봇의 이동 속도와 상기 카메라 센서가 전방향 또는 진행 방향을 촬영하는데 소요되는 시간을 이용하여 장애물 감지 범위를 계산하며,
    상기 제어부는 상기 제1동적 장애물이 상기 장애물 감지 범위 내에 포함되는지를 계산하여 상기 카메라 센서의 촬영 방향을 조절하거나 상기 로봇의 이동 방향을 전환하는, 동적 장애물을 식별하는 로봇.
  6. 제5항에 있어서,
    상기 제어부는 상기 제1동적 장애물이 상기 장애물 감지 범위 내에 포함될 경우, 상기 카메라 센서의 화각을 기준으로 상기 로봇의 주변 공간을 둘 이상의 탐색 공간을 분할한 후, 상기 탐색 공간 별로 상기 제1동적 장애물의 이동 방향 또는 제2동적 장애물의 이동 방향과 상기 로봇의 목표지점을 비교하여 상기 로봇의 이동 경로를 설정하는, 동적 장애물을 식별하는 로봇.
  7. 제1항에 있어서,
    상기 제어부는 상기 로봇 주변의 동적 장애물의 속도를 반영하여 위치 불확실성을 계산하고 상기 불확실성이 일정 기준 이상일 경우 상기 동적 장애물을 상기 카메라 센서가 촬영하여 상기 불확실성을 재계산하는, 동적 장애물을 식별하는 로봇.
  8. 제1항에 있어서,
    상기 로봇의 주변에 배치된 장애물과 로봇 사이의 거리를 측정하는 라이다 센서를 더 포함하며,
    상기 제어부는 상기 라이다 센서의 센싱 결과 및 상기 카메라 센서의 센싱 결과를 이용하여 클리어 영역을 확정하며, 상기 제어부는 상기 클리어 영역을 상기 카메라 센서가 촬영한 결과에 따라 상기 로봇의 이동 경로를 재설정하는, 동적 장애물을 식별하는 로봇.
  9. 제1항에 있어서,
    상기 제어부는 로봇의 진행 방향에 배치된 장애물의 분포 또는 장애물의 속도를 반영한 혼잡도를 계산하여,
    상기 혼잡도가 일정 수준 이상인 경우 상기 제어부는 상기 카메라 센서의 촬영 방향을 상기 혼잡도가 높은 영역을 향하도록 조절하는, 동적 장애물을 식별하는 로봇.
  10. 제1항에 있어서,
    상기 제어부는 상기 카메라 센서가 제1방향에서 촬영한 제1이미지와 제2방향에서 촬영한 제2이미지를 결합한 제3이미지에서 장애물을 판단하며,
    상기 제1이미지 및 상기 제2이미지는 중첩된 영역을 가지는, 동적 장애물을 식별하는 로봇.
  11. 로봇에 배치된 카메라 센서가 제1방향으로 로봇의 주변을 촬영하여 이미지를 생성하는 단계;
    상기 로봇의 제어부가 상기 이미지에서 장애물을 식별하여 상기 식별된 장애물의 이동 속도와 상기 장애물의 분포에 따른 혼잡도 와 상기 로봇의 이동 속도에 따라 상기 장애물을 감지하는 메커니즘을 변경하는 단계; 및
    상기 제어부가 상기 로봇의 이동 경로를 생성하는 단계를 포함하는, 동적 장애물을 식별하는 방법.
  12. 제11항에 있어서,
    상기 제어부가 상기 이미지에서 장애물을 식별한 결과 상기 로봇의 이동 경로에 인접한 동적 장애물이 없거나 상기 이동 경로를 기준으로 동적 장애물이 멀어지면 상기 제어부는 상기 이동 경로를 따라 상기 로봇을 이동시키며 상기 카메라 센서를 상기 이동 방향으로 고정하도록 제어하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  13. 제11항에 있어서,
    상기 제어부가 상기 이미지에서 장애물을 식별한 결과 상기 이동 경로 이외의 방향으로 상기 카메라 센서의 방향을 조절을 결정하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  14. 제11항에 있어서,
    상기 제어부는 상기 촬영한 이미지에서 식별되는 제1동적 장애물의 이동 속도 및 제1정적 장애물에 대한 정보를 저장하는 단계; 및
    상기 제어부는 상기 제1방향과 일부 중첩되는 제2방향에서 촬영한 이미지와 상기 제1방향 및 제2방향의 차이 및 상기 저장한 정보를 이용하여 상기 제1동적 장애물의 위치 불확정성 및 상기 제1정적 장애물의 위치를 계산하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  15. 제14항에 있어서,
    상기 제어부는 상기 로봇의 이동 속도와 상기 카메라 센서가 전방향 또는 진행 방향을 촬영하는데 소요되는 시간을 이용하여 장애물 감지 범위를 계산하는 단계; 및
    상기 제어부는 상기 제1동적 장애물이 상기 장애물 감지 범위 내에 포함되는지를 계산하여 상기 카메라 센서의 촬영 방향을 조절하거나 상기 로봇의 이동 방향을 전환하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  16. 제15항에 있어서,
    상기 제어부는 상기 제1동적 장애물이 상기 장애물 감지 범위 내에 포함될 경우, 상기 카메라 센서의 화각을 기준으로 상기 로봇의 주변 공간을 둘 이상의 탐색 공간을 분할하는 단계; 및
    상기 제어부는 상기 탐색 공간 별로 상기 제1동적 장애물의 이동 방향 또는 제2동적 장애물의 이동 방향과 상기 로봇의 목표지점을 비교하여 상기 로봇의 이동 경로를 설정하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  17. 제11항에 있어서,
    상기 제어부는 상기 로봇 주변의 동적 장애물의 속도를 반영하여 위치 불확실성을 계산하는 단계; 및
    상기 불확실성이 일정 기준 이상일 경우 상기 제어부는 상기 동적 장애물을 상기 카메라 센서가 촬영하여 상기 불확실성을 재계산하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  18. 제11항에 있어서,
    상기 로봇의 라이다 센서가 상기 로봇의 주변에 배치된 장애물과 로봇 사이의 거리를 측정하는 단계;
    상기 제어부는 상기 라이다 센서의 센싱 결과 및 상기 카메라 센서의 센싱 결과를 이용하여 클리어 영역을 확정하는 단계; 및
    상기 제어부는 상기 클리어 영역을 상기 카메라 센서가 촬영한 결과에 따라 상기 로봇의 이동 경로를 재설정하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  19. 제11항에 있어서,
    상기 제어부는 로봇의 진행 방향에 배치된 장애물의 분포 또는 장애물의 속도를 반영한 혼잡도를 계산하는 단계; 및
    상기 혼잡도가 일정 수준 이상인 경우 상기 제어부는 상기 카메라 센서의 촬영 방향을 상기 혼잡도가 높은 영역을 향하도록 조절하는 단계를 더 포함하는, 동적 장애물을 식별하는 방법.
  20. 제11항에 있어서,
    상기 제어부는 상기 카메라 센서가 제1방향에서 촬영한 제1이미지와 제2방향에서 촬영한 제2이미지를 결합한 제3이미지에서 장애물을 판단하는 단계를 더 포함하며,
    상기 제1이미지 및 상기 제2이미지는 중첩된 영역을 가지는, 동적 장애물을 식별하는 방법.
KR1020190147137A 2019-11-15 2019-11-15 동적 장애물을 식별하는 방법 및 이를 구현한 로봇 KR20190134554A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190147137A KR20190134554A (ko) 2019-11-15 2019-11-15 동적 장애물을 식별하는 방법 및 이를 구현한 로봇
US16/878,701 US11673269B2 (en) 2019-11-15 2020-05-20 Method of identifying dynamic obstacle and robot implementing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190147137A KR20190134554A (ko) 2019-11-15 2019-11-15 동적 장애물을 식별하는 방법 및 이를 구현한 로봇

Publications (1)

Publication Number Publication Date
KR20190134554A true KR20190134554A (ko) 2019-12-04

Family

ID=69004921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147137A KR20190134554A (ko) 2019-11-15 2019-11-15 동적 장애물을 식별하는 방법 및 이를 구현한 로봇

Country Status (2)

Country Link
US (1) US11673269B2 (ko)
KR (1) KR20190134554A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021125415A1 (ko) * 2019-12-20 2021-06-24 (주)바램시스템 360도 공간 촬영을 통한 공간 모니터링 로봇
CN113670292A (zh) * 2021-08-10 2021-11-19 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN114750159A (zh) * 2022-05-07 2022-07-15 哈尔滨工业大学（深圳） 一种配餐机器人的控制方法及配餐机器人
KR20220131131A (ko) * 2021-03-19 2022-09-27 네이버랩스 주식회사 장애물에 유연하게 대처하는 로봇이 주행하는 건물
KR20230068807A (ko) * 2021-11-11 2023-05-18 한국전력 국제원자력대학원대학교 산학협력단 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법
KR20230080886A (ko) * 2021-11-30 2023-06-07 한국과학기술원 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법
KR102583669B1 (ko) * 2022-10-04 2023-09-26 한국전기연구원 이동로봇의 표시물 인식 및 위치 추정방법 및 이를 이용한 장치
WO2024101589A1 (ko) * 2022-11-10 2024-05-16 주식회사 클로봇 라이다 센서를 이용하여 이동 로봇의 주행을 제어하기 위한 방법 및 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113664829A (zh) * 2021-08-17 2021-11-19 西北工业大学 一种空间机械臂避障路径规划系统、方法、计算机设备及存储介质
US11960288B1 (en) * 2021-09-08 2024-04-16 Amazon Technologies, Inc. System for path planning in areas outside of sensor field of view by an autonomous mobile device
CN114494848B (zh) * 2021-12-21 2024-04-16 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
CN115561772B (zh) * 2022-08-26 2023-08-29 东莞理工学院 一种基于视觉区域导向性的激光雷达驾驶环境认知系统
CN115877852B (zh) * 2023-02-22 2023-06-13 深圳市欧拉智造科技有限公司 机器人运动控制方法、机器人和计算机可读存储介质
CN116878471B (zh) * 2023-09-06 2023-11-10 湖南湘船重工有限公司 一种水上无人测绘系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006304812B2 (en) 2005-10-21 2012-02-02 Deere & Company Versatile robotic control module
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
KR102624434B1 (ko) * 2015-02-10 2024-01-15 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US9989965B2 (en) * 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
JP2019036012A (ja) * 2017-08-10 2019-03-07 トヨタ自動車株式会社 情報通知装置、情報通知システム、情報通知方法、情報通知プログラム
JP6959533B2 (ja) * 2018-06-11 2021-11-02 日本電信電話株式会社 干渉源探索方法及び干渉源探索装置
KR102577785B1 (ko) * 2018-09-20 2023-09-13 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법
US10809732B2 (en) * 2018-09-25 2020-10-20 Mitsubishi Electric Research Laboratories, Inc. Deterministic path planning for controlling vehicle movement
KR20200087361A (ko) * 2019-01-03 2020-07-21 삼성전자주식회사 이동 로봇 및 그 구동 방법
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
KR20200136522A (ko) * 2019-05-27 2020-12-08 현대자동차주식회사 차량 및 그 제어방법
US11332132B2 (en) * 2019-08-30 2022-05-17 Argo AI, LLC Method of handling occlusions at intersections in operation of autonomous vehicle
US20220281106A1 (en) * 2019-09-02 2022-09-08 Honda Motor Co., Ltd. Control platform, control system, service providing system, service providing method, and control method
US11462019B2 (en) * 2019-09-20 2022-10-04 Gm Cruise Holdings Llc Predicting rider entry time for pick-up and drop-off locations

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021125415A1 (ko) * 2019-12-20 2021-06-24 (주)바램시스템 360도 공간 촬영을 통한 공간 모니터링 로봇
KR20220131131A (ko) * 2021-03-19 2022-09-27 네이버랩스 주식회사 장애물에 유연하게 대처하는 로봇이 주행하는 건물
CN113670292A (zh) * 2021-08-10 2021-11-19 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN113670292B (zh) * 2021-08-10 2023-10-20 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
KR20230068807A (ko) * 2021-11-11 2023-05-18 한국전력 국제원자력대학원대학교 산학협력단 드론의 장애물 충돌회피를 위한 2d 히스토그램 생성방법
KR20230080886A (ko) * 2021-11-30 2023-06-07 한국과학기술원 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법
CN114750159A (zh) * 2022-05-07 2022-07-15 哈尔滨工业大学（深圳） 一种配餐机器人的控制方法及配餐机器人
CN114750159B (zh) * 2022-05-07 2023-08-22 哈尔滨工业大学（深圳） 一种配餐机器人的控制方法及配餐机器人
KR102583669B1 (ko) * 2022-10-04 2023-09-26 한국전기연구원 이동로봇의 표시물 인식 및 위치 추정방법 및 이를 이용한 장치
WO2024101589A1 (ko) * 2022-11-10 2024-05-16 주식회사 클로봇 라이다 센서를 이용하여 이동 로봇의 주행을 제어하기 위한 방법 및 시스템

Also Published As

Publication number Publication date
US11673269B2 (en) 2023-06-13
US20210146540A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
KR20190134554A (ko) 동적 장애물을 식별하는 방법 및 이를 구현한 로봇
KR101907548B1 (ko) 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법
JP7017025B2 (ja) 自律移動ロボット、自律移動ロボットの制御方法および制御プログラム
KR102090590B1 (ko) 장애물 회피에 기반하여 경유 지점을 주행하는 로봇 및 주행하는 방법
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US8903160B2 (en) Apparatus and method with traveling path planning
KR102664410B1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
KR102500634B1 (ko) 안내 로봇 및 그의 동작 방법
CN107390721A (zh) 机器人随行控制方法、装置及机器人
KR20190024467A (ko) 타겟 지향 로컬 경로를 생성하는 방법 및 이를 구현하는 로봇
CN111103875B (zh) 避让的方法、设备及存储介质
US11614747B2 (en) Robot generating map and configuring correlation of nodes based on multi sensors and artificial intelligence, and moving based on map, and method of generating map
JP2020126612A (ja) スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置
KR20190023834A (ko) 객체와 간격을 유지하며 로봇을 이동시키는 방법 및 이를 구현하는 로봇
KR20200087361A (ko) 이동 로봇 및 그 구동 방법
US11400593B2 (en) Method of avoiding collision, robot and server implementing thereof
Nguyen et al. Confidence-aware pedestrian tracking using a stereo camera
TWI532619B (zh) Dual Image Obstacle Avoidance Path Planning Navigation Control Method
Bettencourt et al. Multimodal navigation for autonomous service robots
WO2021246170A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
KR20210000153A (ko) 위치 인식을 위한 영상의 획득 방법 및 이를 구현하는 로봇
KR101777019B1 (ko) 영상 기반의 가상 울타리를 이용하는 이동 로봇의 주행 방법 및 주행 제어 장치
Ghidary et al. Localization and approaching to the human by mobile home robot
JP7281306B2 (ja) 移動体管理装置、及び、移動体管理方法
KR102636740B1 (ko) 차량 및 그 제어방법