KR20220066325A - 이동 로봇용 장애물 정보 감지 방법, 장치 - Google Patents

이동 로봇용 장애물 정보 감지 방법, 장치 Download PDF

Info

Publication number
KR20220066325A
KR20220066325A KR1020227012806A KR20227012806A KR20220066325A KR 20220066325 A KR20220066325 A KR 20220066325A KR 1020227012806 A KR1020227012806 A KR 1020227012806A KR 20227012806 A KR20227012806 A KR 20227012806A KR 20220066325 A KR20220066325 A KR 20220066325A
Authority
KR
South Korea
Prior art keywords
mobile robot
dimensional
point
obstacle
data
Prior art date
Application number
KR1020227012806A
Other languages
English (en)
Inventor
쉬에시옹 롱
지앤위 리
Original Assignee
항저우 히크로봇 테크놀로지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 항저우 히크로봇 테크놀로지 씨오., 엘티디. filed Critical 항저우 히크로봇 테크놀로지 씨오., 엘티디.
Publication of KR20220066325A publication Critical patent/KR20220066325A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

이동 로봇용 장애물 정보 감지 방법, 장치에 있어서, 방법은, 깊이 이미지 데이터를 획득하는 단계; 깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 단계; 상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계; 및 이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하여, 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 단계를 포함한다. 본 발명은 기존의 장애물 회피 센서가 3차원 감지 및 장애물 회피를 수행할 수 없는 결함을 해결하여 대규모의 다단계의 장애물을 감지할 수 있다.

Description

이동 로봇용 장애물 정보 감지 방법, 장치
본 발명은 2019년 9월 20일에 중국 특허국에 제출한, 출원번호가 201910892943.2이고 발명의 명칭이 “이동 로봇용 장애물 정보 감지 방법, 장치”인 중국 특허 출원의 우선권을 주장하는바, 이의 모든 내용은 참조로서 본 발명에 인용된다.
본 발명은 로봇 위치결정 내비게이션 분야에 관한 것으로, 특히 이동 로봇용 장애물 정보 감지 방법, 장치에 관한 것이다.
이동 로봇이 장애물을 감지하기 위해 일반적으로 사용되는 센싱 방법은 초음파, 적외선 및 레이저 등이 있는데, 여기서 초음파는 장애물의 정확한 위치와 범위를 감지할 수 없고; 적외선은 한 방향만 감지할 수 있으며; 2차원 레이저는 주변 환경의 상세한 장애물 정보를 감지할 수 있지만 장착 평면 내의 장애물만 감지할 수 있고, 장착 평면의 경우 낮은 장애물 또는 더 높은 공중에 매달린 장애물은 감지할 수 없다.
본 발명은 주변 공간 중의 장애물 정보를 3차원적으로 감지할 수 있는 이동 로봇용 장애물 정보 감지 방법, 장치를 제공한다.
본 발명에서 제공된 이동 로봇용 장애물 정보 감지 방법은,
깊이 이미지 데이터를 획득하는 단계;
깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 단계;
상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계;
이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하는 단계; 및
검출된 2차원 데이터에 따라 장애물 정보를 획득하는 단계를 포함하고,
여기서, 상기 깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 단계는,
깊이 이미지 데이터 중 어느 하나의 픽셀 포인트에 대해, 카메라 외부 파라미터, 픽셀 포인트의 깊이 값, 카메라 내부 파라미터 및 픽셀 포인트의 좌표 값을 통해 이동 로봇 좌표계에서 상기 픽셀 포인트의 3차원 포인트 좌표를 획득하는 단계; 및
깊이 이미지 데이터 중 모든 픽셀 포인트를 이동 로봇 좌표계에서의 3차원 포인트 좌표로 변환한 후 이동 로봇 좌표계에서의 3차원 포인트로 구성된 3차원 포인트 클라우드를 획득하는 단계를 포함하며,
이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하는 단계는,
이동 로봇 진행 경로 범위 내 장애물을 검출하기 위한 검색 창을 구축하고, 검색 창 범위 내에서 2차원 데이터를 검색하는 단계를 포함한다.
선택 가능하게, 상기 카메라 외부 파라미터, 픽셀 포인트의 깊이 값, 카메라 내부 파라미터 및 픽셀 포인트의 좌표 값을 통해 이동 로봇 좌표계에서 상기 픽셀 포인트의 3차원 포인트 좌표를 획득하는 단계는,
깊이 카메라의 외부 파라미터에 따라 이동 로봇 좌표계에서 깊이 카메라 좌표계까지의 변환 관계 행렬을 획득하는 단계; 및
상기 변환 관계 행렬, 픽셀 포인트의 깊이 값, 카메라 내부 파라미터 행렬의 역행렬 및 픽셀 포인트 좌표 값으로 구성된 행렬의 곱을 계산하되, 얻은 결과가 이동 로봇 좌표계에서 픽셀 포인트의 3차원 포인트 좌표인 단계를 포함하고,
여기서, 픽셀 포인트 좌표 값으로 구성된 행렬은
Figure pct00001
이며, u, v는 각각 이미지 좌표계에서 픽셀 포인트의 좌표이다.
선택 가능하게, 상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계는,
이동 로봇 좌표계에서의 어느 하나의 3차원 포인트 좌표에 대해, 3차원 포인트 중 이동 로봇의 이동 평면에 수직인 좌표 값을 버리고 이동 로봇의 이동 평면 내에서 상기 3차원 포인트의 2차원 투영을 획득하거나; 3차원 포인트 중 이동 로봇의 이동 평면에 수직인 좌표 값을 0으로 설정하여 이동 로봇의 이동 평면 내에서 상기 3차원 포인트의 2차원 투영을 획득하는 단계; 및
이동 로봇 좌표계에서의 모든 3차원 포인트 좌표를 이동 로봇의 이동 평면 내 2차원 투영으로 변환한 후 2차원 투영으로 구성된 2차원 포인트 클라우드를 획득하는 단계를 포함한다.
선택 가능하게, 상기 이동 로봇 진행 경로 범위 내 장애물을 검출하기 위한 검색 창을 구축하고, 검색 창 범위 내에서 2차원 데이터를 검색하는 단계는,
이동 로봇의 전진 방향으로 이동 로봇과 상대적 위치가 고정되는 상기 검색 창을 구축하는 단계를 포함하고,
상기 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 단계는, 검색 창 범위 내에 2차원 포인트 클라우드가 존재하는지 여부를 검출하여, 존재하면 장애물이 검출된 것으로 판정하는 단계를 포함한다.
선택 가능하게, 상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계는,
변환된 이동 로봇 좌표계에서의 데이터를 선별하고 이동 과정에서 접촉 가능한 장애물에 대응되는 데이터를 보류하는 단계; 및
보류된 이동 과정에서 접촉 가능한 장애물에 대응되는 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계를 포함한다.
선택 가능하게, 상기 이동 로봇의 탑재면은 지면이고, 상기 이동 과정에서 접촉 가능한 장애물에 대응되는 데이터를 보류하는 단계는, 상기 이동 로봇 좌표계에서의 3차원 포인트 좌표 중 z값이 제1 임계값보다 크고 제2 임계값보다 작은 3차원 포인트를 보류하는 단계를 포함한다.
선택 가능하게, 상기 방법은, 검색 창 내 가장 가까운 장애물의 위치에 따라 이동 로봇이 회피할 필요가 있는지 여부를 판단하여, 회피할 필요가 있는 경우, 이동 로봇의 진행 가능한 영역을 획득하도록 트리거하는 단계를 더 포함한다.
선택 가능하게, 상기 이동 로봇의 진행 가능한 영역을 획득하는 단계는,
탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로, 동일한 각도로 적어도 하나의 방사선을 설정하고, 상기 시작점과의 거리가 가장 가까운 방사선 상의 2차원 포인트를 장애물 윤곽으로 사용하여 장애물 윤곽의 2차원 포인트를 획득하는 단계;
장애물 윤곽의 임의의 2차원 포인트에 대해, 상기 2차원 포인트를 원심으로, 연장 거리를 반경으로 하여 확장 원을 설정하며; 상기 시작점을 통해 상기 확장 원과 접하는 2개의 접선을 획득하고; 2개의 접선에 의해 끼워진 원호를 상기 장애물 윤곽의 2차원 포인트의 확장 경계로 사용하되, 끼워진 원호의 원심 각은 180°보다 작거나 같고, 상기 연장 거리는 적어도 탑재면에서 이동 로봇 본체의 투영 중심과 윤곽 사이의 최대 거리인 단계; 및
모든 장애물 윤곽의 2차원 포인트의 확장 경계를 획득하며, 모든 2차원 포인트의 확장 경계의 포락선을 확장 윤곽으로 사용하고, 확장 윤곽을 경계로 이동 로봇에 가까운 일측 영역을 실행 가능한 영역으로 사용하고 타측을 실행 불가능한 영역으로 사용하는 단계를 포함한다.
선택 가능하게, 상기 장애물 윤곽의 임의의 2차원 포인트에 대해, 상기 2차원 포인트를 원심으로, 연장 거리를 반경으로 하여 확장 원을 설정하는 단계는,
현재 장애물 윤곽의 2차원 포인트 좌표를 극 좌표로 변환하는 단계; 및
변환된 극 좌표 및 연장 거리에 따라 극 좌표계에서 확장 원의 방정식을 결정하는 단계를 포함하고,
상기 시작점을 통해 상기 확장 원과 접하는 2개의 접선을 획득하는 단계는,
극 좌표계에서 상기 확장 원의 방정식에 따라 현재 장애물 윤곽의 2차원 포인트 확장 원의 접선 각도 범위를 결정하는 단계를 포함하며,
상기 2개의 접선에 의해 끼워진 원호를 상기 장애물 윤곽의 2차원 포인트의 확장 경계로 사용하는 단계는,
상기 접선 각도 범위 내에서,
설정된 현재 극각 값을 극 좌표계에서 상기 확장 원의 방정식에 대입하여 원호 포인트의 동경 값을 구하고; 동경 값 중 작은 값을 추출하여 접선에 의해 끼워진 원호 포인트의 극 좌표를 획득하는 단계;
다음 극각 값을 설정하고, 되돌아가 접선에 의해 끼워진 원호 세그먼트의 원호 좌표 포인트 계산이 완료될 때까지, 상기 설정된 현재 극각 값을 극 좌표계에서 상기 확장 원의 방정식에 대입하는 단계를 수행하는 단계; 및
원호 포인트를 기반으로 현재 2차원 포인트의 확장 경계를 형성하는 단계를 포함한다.
선택 가능하게, 상기 탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로, 동일한 각도로 적어도 하나의 방사선을 설정하는 단계는, 이미지 시야 경계로부터 시작하여, 탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로, 동일한 각도로 방사선을 취하여 격자를 형성하는 단계를 더 포함하고,
상기 원호 포인트를 기반으로 현재 2차원 포인트의 확장 경계를 형성하는 단계는,
현재 격자 내에 확장 윤곽의 2차원 포인트가 없으면 계산된 원호 좌표 포인트 중 상기 격자에 위치한 원호 좌표 포인트를 상기 격자 확장 윤곽의 2차원 포인트로 사용하는 단계;
현재 격자 내에 기존의 확장 윤곽의 2차원 포인트가 있으면 계산된 원호 좌표 포인트 중 격자 내에 위치한 원호 좌표 포인트 및 기존의 확장 윤곽의 2차원 포인트로부터 탑재면에서 이동 로봇 본체의 투영 중심까지의 거리가 어느 것이 더 가까운지 판단하고, 상기 투영 중심에 가까운 포인트를 상기 격자 확장 윤곽의 2차원 포인트로 사용하는 단계; 및
모든 격자 확장 윤곽의 2차원 포인트를 현재 2차원 포인트의 확장 경계로 사용하는 단계를 포함한다.
본 발명에서 제공된 이동 로봇용 장애물 정보 감지 장치는,
깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 제1 데이터 변환 모듈;
상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 제2 데이터 변환 모듈; 및
이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하여 장애물 정보를 획득하는 감지 모듈을 포함하고,
본 발명은 이동 로봇을 더 제공하며, 상기 이동 로봇 본체는,
이동 로봇 본체에 장착되어 깊이 이미지 데이터를 획득하는 깊이 카메라;
깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하고; 상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하며; 이동 로봇의 시야 범위 내에서 2차원 데이터를 검출하여, 장애물 정보를 획득하는 장애물 감지 모듈;
장애물 정보에 따라 이동 명령을 형성하는 이동 제어 모듈; 및
상기 이동 명령을 실행하는 실행 메커니즘 모듈을 포함한다.
본 발명은 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 상기 임의의 깊이 카메라에 기반한 이동 로봇용 장애물 정보 감지 방법의 단계를 구현한다.
본 발명은 명령을 포함한 컴퓨터 프로그램 제품을 더 제공하며, 상기 컴퓨터 프로그램 제품은 컴퓨터에서 실행될 경우, 상기 컴퓨터가 상기 임의의 깊이 카메라에 기반한 이동 로봇용 장애물 정보 감지 방법의 단계를 수행하도록 한다.
본 발명은 깊이 이미지 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하고, 2차원 투영 데이터를 기반으로 검색하여 장애물 정보를 획득함으로써 2차원 레이저와 유사한 데이터를 획득하며, 기존의 장애물 회피 센서가 3차원 감지 및 장애물 회피를 수행할 수 없는 결함을 해결하여 대규모의 다단계의 장애물을 감지할 수 있고; 깊이 데이터의 일반적인 처리 방법과 달리, 포인트 클라우드 데이터를 지면에 투영하여 2차원 환경에서 장애물 회피 제어의 성숙한 기술이 애플리케이션에 널리 사용될 수 있도록 하며; 3차원 센서의 3차원 감지 정보를 이용할 수 있을 뿐만 아니라, 2차원 환경에서 빠른 경로 계획을 수행할 수도 있다.
본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 아래에 실시예와 종래의 기술에 사용되어야 하는 도면을 간단히 소개하며, 분명한 것은, 아래에서 설명되는 도면은 본 발명의 일부 실시예일 뿐 본 기술분야의 통상의 기술자들은 진보성 창출에 힘 쓸 필요없이 이러한 도면으로부터 다른 도면을 얻을 수 있을 것이다.
도 1은 본 발명의 실시예에서 제공된 깊이 이미지 데이터를 기반으로 장애물 정보를 감지하는 흐름 모식도이다.
도 2는 이동 로봇이 검색 창을 통해 장애물 회피 범위 내에서 가장 가까운 거리의 장애물을 감지하는 모식도이다.
도 3은 장애물 윤곽을 감지하는 모식도이다.
도 4는 확장 윤곽의 모식도이다.
도 5는 본 발명의 실시예의 확장 윤곽을 구현하는 흐름 모식도이다.
도 6은 이동 로봇이 위치한 장면의 모식도이다.
도 7은 도 6에 도시된 장면의 깊이 이미지 데이터를 기반으로 감지된 2차원 포인트 클라우드 및 감지된 2차원 포인트 클라우드를 기반으로 결정된 윤곽 확장 결과의 모식도이다.
도 8은 본 발명의 실시예에서 제공된 이동 로봇의 장애물 회피 시스템의 모식도이다.
도 9는 본 발명의 실시예가 제공하는 장애물 감지 모듈의 모식도이다.
본 발명의 실시예의 목적, 기술적 해결수단 및 장점이 보다 명확해지도록 하기 위해, 이하 첨부된 도면을 참조하고 실시예를 예로 들어 본 발명을 더 상세하게 설명한다. 설명되는 실시예는 단지 본 발명의 일부 실시예일 뿐, 전부 실시예가 아님이 분명하다. 본 발명에서의 실시예에 기반하여, 본 기술분야의 통상의 기술자들이 진보성 창출에 힘을 쓰지 않는 전제 하에서 획득한 모든 다른 실시예는 모두 본 발명의 실시예의 보호 범위에 속한다.
깊이 카메라에 의해 획득된 깊이 이미지 데이터는 픽셀 포인트 좌표를 기반으로 픽셀 포인트 그레이 값으로 공간 포인트 사이의 거리 값을 특성화한 데이터이고, p(u, v, d)로 나타낼 수 있으며, 여기서 u, v는 이미지 좌표계에서 픽셀 포인트의 좌표이고, 구체적으로 u, v는 각각 깊이 이미지에서 픽셀 포인트의 픽셀 행 좌표 및 픽셀 열 좌표이다. d는 상기 픽셀 포인트에 대응되는 공간 3차원 포인트의 깊이 값이고 여기서 깊이 값은 상기 거리 값이며, 다시 말해서 상기 픽셀 포인트에 대응되는 공간 3차원 포인트와 깊이 카메라 사이의 거리이다.
이동 로봇이 평면 내에서 이동할 경우, 지면과 이동 로봇 최고점 사이의 장애물이 모두 이동 로봇과 충돌이 발생할 수 있으므로, 이동 로봇의 경로를 계획할 경우, 이러한 장애물의 높이를 고려할 필요가 없으며, 다시 말해서 이러한 장애물의 높이 방향의 정보는 이동 로봇의 이동에 중복된다. 깊이 카메라에 의해 획득한 3차원 포인트 세트를 2차원 평면 내에 투영하여 2차원 포인트 세트를 획득하는데, 높이 계층이 상이한 장애물 정보가 모두 투영 평면 내에 보존되므로 투영 평면 내의 장애물의 포인트뿐만 아니라, 공간 3차원 환경의 장애물 정보도 보류하며, 다시 말해서 2차원 포인트의 형태로 공간 3차원 정보가 보존되고, 따라서 평면에서 이동하는 이동 로봇의 경우 2차원 평면 내에서 경로의 계획 및 제어를 수행할 수 있으며, 처리 복잡성이 감소되고 응답 기능은 향상된다.
이에 기반하여, 본 발명은 깊이 이미지 데이터에 따라 깊이 이미지 중 일정한 높이 범위 내의 3차원 포인트를 이동 로봇 좌표계의 3차원 포인트로 변환하고, 이동 로봇 좌표계의 3차원 포인트를 2차원 평면으로 감소시켜 처리하며; 2차원 평면에서 극 좌표에서 거리가 가장 가까운 포인트를 취하여 장애물 윤곽으로 하여 2차원 레이저와 유사한 데이터를 획득하여 장애물을 회피함으로써, 3차원 센서의 3차원 감지 정보를 이용할 수 있을 뿐만 아니라, 2차원 환경에서 빠른 경로 계획을 수행할 수도 있다.
본 발명의 실시예는,
깊이 이미지 데이터를 획득하는 단계; 깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 단계; 상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계; 이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하는 단계; 및 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법을 제공한다.
보다시피, 본 발명의 실시예에서 제공된 기술적 해결수단에서, 깊이 이미지 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하고, 2차원 투영 데이터를 기반으로 검색하여 장애물 정보를 획득함으로써 2차원 레이저와 유사한 데이터를 획득하며, 기존의 장애물 회피 센서가 3차원 감지 및 장애물 회피를 수행할 수 없는 결함을 해결하여 대규모의 다단계의 장애물을 감지할 수 있다. 다른 한편으로, 깊이 데이터에 대한 일반적인 처리 방법은, 깊이 데이터를 기반으로 장애물의 3차원 모델을 구축하는 것으로, 깊이 데이터의 일반적인 처리 방법과 달리, 본 발명의 실시예는 깊이 데이터를 이동 로봇의 이동 평면에 투영함으로써, 2차원 환경에서 장애물 회피 제어의 성숙한 기술이 본 발명의 투영에 적용되어 2차원 데이터를 획득할 수 있도록 함으로써, 본 발명에서 제공된 해결수단이 널리 사용될 수 있도록 한다. 본 발명에서 제공된 해결수단에서, 3차원 센서의 3차원 감지 정보를 이용할 수 있을 뿐만 아니라, 2차원 데이터를 기반으로 빠른 경로 계획을 수행할 수도 있다.
도 1을 참조하면, 도 1은 본 발명의 실시예의 깊이 이미지 데이터를 기반으로 장애물 정보를 감지하는 흐름 모식도이다.
단계 101에서, 현재 깊이 이미지 데이터를 획득한다.
상기 단계에서, 이동 로봇 본체에 장착된 깊이 카메라를 통해 현재 물리적 공간의 깊이 이미지 데이터를 실시간으로 획득하여 조밀한 깊이 이미지를 획득하되; 여기서 깊이 카메라는 3차원 비전 기반의 깊이 카메라 및 비행 시간(Time of Flight, ToF) 기반의 깊이 카메라일 수 있다.
단계 102에서, 깊이 이미지 데이터 중의 각각의 픽셀 포인트 좌표(u, v, d)를 이동 로봇 좌표계에서의 3차원 포인트 좌표로 변환하고, 즉 깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환한다.
여기서, 이동 로봇 좌표계 원점은 이동 로봇 중심과 일치하고, 이동 로봇 좌표계는 로봇 본체의 좌표계이며, 로봇의 전진 방향을 x축으로 하고, x축과 동일한 평면에 있으며 x축과 수직되고 왼쪽을 향하는 방향을 y축으로 하며, x, y축이 위치한 평면에 수직이며 위로 향하는 방향을 z축으로 한다. 여기서, x, y축이 위치한 평면은 이동 로봇의 이동 평면으로 간주할 수 있고, 이동 로봇 본체 탑재면과 평행된다. 예를 들어, 이동 로봇 본체 탑재면은 일반적으로 지면이므로, x축, y축이 위치한 평면은 지면과 평행된다.
깊이 카메라와 이동 로봇 좌표계의 상대적 위치 및 자세, 즉 깊이 카메라의 외부 파라미터에 따라 이동 로봇 좌표계에서 깊이 카메라 좌표계까지의 변환 관계를 획득할 수 있으며, 여기서 상기 외부 파라미터는 미리 보정할 수 있고 변환 관계
Figure pct00002
는,
Figure pct00003
로 나타낼 수 있으며,
여기서,
Figure pct00004
는 이동 로봇 좌표계에 대한 깊이 카메라 좌표계 간의 회전 행렬로, 3×3의 행렬이고,
Figure pct00005
는 이동 로봇 좌표계에 대한 깊이 카메라 좌표계 간의 변위 행렬로, 3×1의 행렬이다.
깊이 이미지 데이터 중의 각각의 픽셀 포인트(u, v, d)에 대해, 좌표 변환을 수행하여 이동 로봇 좌표계에서의 3차원 포인트 좌표Pb(x, y, z)를 획득하고; 깊이 이미지 데이터 중의 모든 픽셀 포인트에 대해 모두 좌표 변환을 수행한 후, 3차원 포인트 세트를 획득하며, 상기 세트는 3차원 포인트 클라우드로 지칭되기도 한다.
좌표 변환의 수학 표현은,
Figure pct00006
이고,
여기서, d는 스칼라로, 픽셀 포인트의 깊이 값이며, K는 카메라 내부 파라미터이고, 여기서
Figure pct00007
는 픽셀 포인트 좌표 값으로 구성된 행렬이며, u, v는 각각 깊이 이미지 중 픽셀 포인트의 픽셀 행 좌표 및 열 좌표이다.
단계 103에서, 3차원 포인트 세트 중의 3차원 포인트를 선별한다.
로봇 좌표계로 변환된 3차원 포인트의 경우, 일반적으로 지면의 3차원 포인트인지, 장애물의 3차원 포인트인지, 로봇 상부 공간의 3차원 포인트인지 구분이 필요하므로, 높이 하한을 설정하여 지면 3차원 포인트를 제거할 수 있고, 높이 상한을 설정하여 로봇 상부 공간의 3차원 포인트를 제거할 수 있어 로봇이 필요 시 물체 아래에서 빠져나가는데 편이할 수 있다. 선별이 완료된 후 나머지 3차원 포인트는 모두 장면에서 이동 로봇 이동에 영향을 미칠 수 있는 장애물에 대응되는 3차원 포인트이고, 로봇의 보행 경로에 있는 3차원 포인트와 로봇의 보행 경로에 있지 않은 3차원 포인트를 포함한다.
구체적으로, 3차원 포인트 좌표 z값이 제1 임계값보다 크고 제2 임계값보다 작은 3차원 포인트를 보류할 수 있되, 여기서 제1 임계값은 제2 임계값보다 작고 수학 표현이 하기 식을 충족시키는 3차원 포인트를 보류한다.
Figure pct00008
여기서,
Figure pct00009
는 제1 임계값이고 구체적인 값은 이동 로봇 좌표계 중 지면에 대응되는 z값과 원점 좌표의 z값의 차이값일 수 있다.
Figure pct00010
는 제2 임계값이고, 구체적인 값은 이동 로봇 좌표계 중 이동 로봇의 최고점의 z값과 원점 좌표의 z값의 차이값일 수 있다. 상기 단계를 통해 실제 환경 중의 지면 포인트 클라우드와 이동 로봇 높이 위의 포인트 클라우드를 제거할 수 있고, 이동 과정에서 접촉 가능한 장애물에 대응되는 포인트 클라우드를 보류하여 장애물에 대한 감지가 보다 정확해지도록 한다.
비교적 개방된 환경의 경우, 로봇 상부 공간 3차원 포인트 수가 거의 없으므로 3차원 포인트의 선별을 수행하지 않을 수도 있다.
단계 104에서, 선별된 3차원 포인트에 대해 2차원 투영을 수행한다.
선별된 포인트 클라우드는 여전히 3차원이고 선별된 포인트 클라우드는 이동 로봇이 이동 과정에서 접촉 가능한 장애물에 대응되는 포인트 클라우드이므로, 다시 말해서 선별된 포인트 클라우드의 경우, 이에 대응되는 높이 방향의 정보가 무엇이든 이는 모두 이동 로봇이 이동 과정에서 접촉 가능한 장애물에 대응되는 포인크 클라우드이며, 따라서 평면 내에서 이동하는 이동 로봇의 경우, 높이 방향에서 선별된 포인트 클라우드의 정보는 중복 정보로 간주할 수 있으며, 따라서,
선별된 어느 하나의 3차원 포인트 좌표Pb(x, y, z)에 대해, 좌표 중의 z축 좌표 값을 버리거나 0으로 설정할 수 있고, x, y의 좌표 값만 보류하여 2차원 포인트 좌표PP(x, y)를 획득함으로써 선별된 3차원 포인트에 대해 2차원 투영을 수행한다.
모든 선별된 3차원 포인트 좌표의 z축 좌표 값을 버리거나, 모든 선별된 3차원 포인트 좌표의 z축을 0으로 설정하여 2차원 포인트 세트를 획득하고, 2차원 포인트로 장애물을 특성화함으로써 로봇의 실행 가능한 영역을 간편하게 검색할 수 있다.
단계 105에서, 이동 로봇의 전진 방향에 로봇의 진행 경로 범위 내의 장애물을 검출하기 위한 검색 창을 구축한다.
도 2를 참조하면, 도 2는 이동 로봇이 검색 창을 통해 장애물 회피 범위 내에서 가장 가까운 거리의 장애물을 감지하는 모식도이고, 여기서 검색 창은 3차원적이며, 점선 프레임은 이동 평면에서 검색 창의 투영, 즉 검색 창의 평면도이다. 검색 창(도 2에서 점선으로 도시됨)과 이동 로봇의 상대적 위치는 고정되며, 이동 로봇의 전진 방향으로 수직인 검색 창의 단면의 크기는 상기 단면에서 이동 로봇의 투영 크기보다 크거나 같다. 선택 가능하게, 검색 창은 직사각형 프레임이고, 직사각형 프레임의 길이는 장애물 회피에 필요한 거리에 따라 설정된다. 여기서 직사각형 프레임의 길이는 이동 로봇의 전진 방향으로서의 길이이다.
선택 가능하게, 검색 창은 2차원의 창일 수도 있으며, 상기 창이 위치한 평면은 이동 로봇의 탑재면에 평행되고, 검색 창의 형상은 직사각형일 수 있으며, 직사각형의 길이는 장애물 회피에 필요한 거리에 따라 설정되고, 직사각형의 폭은 이동 로봇 본체의 전진 방향에서의 통행 가능 폭보다 크거나 같다. 여기서 직사각형의 길이는 이동 로봇의 전진 방향으로서의 길이이다.
이동 로봇이 이동할 경우, 검색 창체 범위 내에서 2차원 포인트 클라우드를 기반으로 검색하여, 일정한 거리 범위 내에서 장애물이 검출되면 장애물을 회피해야 하되, 여기서 상기 일정한 거리 범위는 즉 이동 로봇의 장애물 회피 범위이다. 장애물 회피 범위 내에서 거리가 가장 가까운 장애물의 위치를 검출하여 로봇이 현재 감속해야 하는지 여부, 정지해야 하는지 여부 및 다른 장애물 회피 조치를 취해야 하는지 여부를 결정할 수 있다. 여기서 다른 장애물 회피 조치에는 회전, 유턴 등이 포함될 수 있다.
일 실시형태에서, 제1 거리 임계값 및 제2 거리 임계값을 미리 설정할 수 있으며, 여기서 제1 거리 임계값은 제2 거리 임계값보다 작고, 장애물 회피 범위 내에서 거리가 가장 가까운 장애물과 이동 로봇 사이의 거리가 제1 거리 임계값보다 크지 않은 것으로 검출된 경우, 이동 로봇은 정지 동작을 수행하여 장애물을 회피할 수 있다. 장애물 회피 범위 내에서 거리가 가장 가까운 장애물과 이동 로봇 사이의 거리가 제2 거리 임계값보다 큰 것으로 검출된 경우, 이동 로봇은 잠시 장애물을 회피하지 않을 수 있다. 장애물 회피 범위 내에서 거리가 가장 가까운 장애물과 이동 로봇 사이의 거리가 제1 거리 임계값보다 크고 제2 거리 임계값보다 크지 않은 것으로 검출된 경우, 이동 로봇은 감속 동작을 수행하거나 다른 장애물 회피 조치를 취하여 장애물을 회피할 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 검색 프레임 내에서 2차원 포인트A 포인트는 이동 로봇까지의 거리가 가장 가까운 장애물에 대응되는 2차원 포인트이고, 계속하여 2차원 포인트A의 위치에 따라 로봇이 현재 감속해야 하는지 여부, 정지해야 하는지 여부 및 다른 장애물 회피 조치를 취해야 하는지 여부를 결정할 수 있다.
단계 106에서, 검색 창체 내 가장 가까운 장애물의 위치에 따라 이동 로봇의 장애물 회피할 필요가 있는지 여부를 판단하며, 회피할 필요가 있는 경우, 단계 107을 수행하고, 그렇지 않으면 단계 101을 되돌아간다.
단계 107에서, 장애물 윤곽을 확장한다.
이동 로봇이 장애물을 회피해야 한다고 결정되면 장애물 윤곽을 확장하여 이동 로봇 진행 가능한 영역을 실시간으로 형성할 수 있으며, 여기서 윤곽 확장은 감지된 장애물 경계에 기반하여 외부로 일정한 거리만큼 연장되는 것이고, 연장된 장애물 경계로 둘러싸인 영역을 실행 불가능한 영역으로 나타내며, 이동 로봇의 중심에는 상기 영역이 나타날 수 없으며, 그렇지 않으면 충돌이 발생한다. 장애물 경계가 외부로 연장되는 거리는 적어도 탑재면에서 로봇 본체의 투영의 중심과 윤곽 사이의 최대 거리이다.
구체적으로, 탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로 하여 복수의 방사선을 만들고, 2차원 포인트 클라우드 중 방사선에서 이동 로봇까지 가장 가까운 2차원 포인트를 장애물 경계로 사용하여 장애물 윤곽의 2차원 포인트를 획득하며; 장애물 윤곽의 2차원 포인트를 기반으로 확장하여 확장 윤곽의 2차원 포인트를 획득하고; 확장 윤곽의 2차원 포인트를 이동 로봇의 진행에 있어서 실행 가능한 영역과 실행 불가능한 영역의 분계선으로 사용한다. 여기서, 상기 검색 창체와 검색 프레임은 상기 검색 창이다.
도 3을 참조하면, 도 3은 장애물 윤곽을 감지하는 모식도이다. 깊이 카메라의 수평 시야 범위 내에서, 시야 경계에 의해 형성된 범위 내에서 탑재면에서 로봇 본체의 투영 중심을 시작점으로 동일한 각도로 방사선을 만들고 격자를 형성하되, 여기서 도 3에서 시야 경계에 의해 형성된 범위는 이미지의 경계1에서 경계2까지의 범위이고, 도 3에서는 몇 개의 방사선만 도시하였으며 모든 방사선을 도시하지 않았다. 이러한 방사선에서 탑재면에서 로봇 본체의 투영 중심까지 거리가 가장 가까운 2차원 포인트를 장애물 경계, 즉 장애물의 윤곽으로서 취하여, 방사선에 2차원 포인트가 없으면 상기 방사선의 방향에 장애물이 없는 것을 설명한다. 여기서 방사선 간의 각도가 작을수록 획득하는 장애물 윤곽의 2차원 포인트가 더 많고 결정되는 장애물의 윤곽도 더 정확할 수 있다.
도 4를 참조하면, 도 4는 확장 윤곽의 모식도이다. 이동 로봇의 전진 방향에서 장애물 윤곽 상의 임의의 2차원 포인트에 대해, 상기 2차원 포인트를 원심으로, 확장된 연장 거리를 반경으로 확장 원을 형성하고, 탑재면에서 로봇 본체의 투영 중심을 통해 상기 확장 원과 접하는 두 접선에 의해 끼워진 원호를 상기 2차원 포인트의 확장 경계로 사용하되; 여기서 끼워진 원호의 원심 각은 180°보다 작거나 같다.
장애물 윤곽 상의 모든 2차원 포인트에 대해 확장 원, 접선에 의해 끼워진 원호를 하나씩 취하여 모든 2차원 포인트의 확장 경계를 획득한다. 일 실시형태에서, 모든 2차원 포인트의 확장 경계의 포락선을 확장된 윤곽으로 사용할 수 있으며, 이로써 이동 로봇의 진행에 있어서 실행 가능한 영역과 실행 불가능한 영역을 획득한다.
도 5를 참조하면, 도 5는 본 발명의 실시예의 확장 윤곽을 구현하는 흐름 모식도이다. 도 4를 결합하면, 탑재면에서 로봇 본체의 투영 중심을 극점으로 하고, 로봇 전진 방향을 극축으로 하여 극 좌표계를 구축한다.
단계 501에서, 현재 장애물 윤곽의 2차원 포인트 확장 원의 접선 각도 범위를 결정한다.
구체적으로, 현재 장애물 윤곽의 2차원 포인트PP(x, y)를 추출하여 극 좌표P(R, θp)로 변환하는 단계를 포함할 수 있다.
2차원 포인트의 극 좌표 및 확장 원의 반경r에 따라 확장 원의 방정식을 결정할 수 있다.
Figure pct00011
극점을 지나는 원주 방정식의 접선을 구하기 위해,
Figure pct00012
상기 식을 풀면,
Figure pct00013
이다.
단계 502에서, 원주의 접선에 의해 끼워진 원호 포인트의 좌표를 계산하며, 구체적으로,
극각
Figure pct00014
가
Figure pct00015
를 만족하고, 각도
Figure pct00016
를 스텝 길이 각도로 극각 값
Figure pct00017
을 설정하여, 설정된 극각 값
Figure pct00018
을 상기 확장 원의 방정식에 대입하여 동경 값
Figure pct00019
을 구한다. 1원 2차 방정식을 구하므로 2개의 해를 얻는데 동경 값
Figure pct00020
중 작은 값을 취하여 접선에 의해 끼워진 원호의 원심 각이 180°보다 작거나 같도록 함으로써, 하나의 원호 포인트의 극 좌표(
Figure pct00021
,
Figure pct00022
)를 획득한다. 여기서
Figure pct00023
는 설정된 극각
Figure pct00024
값이다.
다음, 스텝 길이 각도
Figure pct00025
에 따라 계속하여 극각 값
Figure pct00026
을 설정할 수 있고, 설정된 극각 값
Figure pct00027
을 상기 확장 원의 방정식에 대입하여 동경 값
Figure pct00028
을 구하며, 즉 설정 요구를 달성할 때까지 상기 단계 502를 반복하여 수행한다. 일 실시형태에서, 설정 요구는, 계산하여 얻은 원호 포인트의 극 좌표의 수가 설정된 원포 좌표 포인트의 총수 임계값에 달성하여 접선에 의해 끼워진 원호 극 좌표 포인트 세트를 획득하며, 상기 세트가 나타내는 원호를 장애물 윤곽에 포함된 현재 2차원 포인트의 확장 경계로 사용하는 것이다.
일 실시형태에서, 도 4에 도시된 바와 같이, 격자 분할 각도에 따라 극각
Figure pct00029
를 균등하게 분할하여 스텝 길이 각도
Figure pct00030
를 획득할 수 있다. 또는, 스텝 길이 각도를 설정할 수도 있다. 스텝 길이 각도가 작을수록 상기 단계 502를 수행하는 횟수가 많아지므로 획득되는 원호 극 좌표 포인트도 더 많아진다.
단계 503에서, 장애물 윤곽의 다음 2차원 포인트를 추출하며, 장애물 윤곽의 모든 포인트 추출이 완료되지 않으면 장애물 윤곽의 모든 포인트 추출이 완료될 때까지 단계 501로 되돌아간다. 다시 말해서, 장애물의 윤곽에 포함된 모든 2차원 포인트에 대응되는 원주 상의 접선에 의해 끼워진 원호 포인트의 좌표 계산이 완료될 때까지이다. 일 실시형태에서, 계산량을 줄이기 위해, 같은 간격으로 장애물 윤곽의 2차원 포인트를 추출할 수 있다. 장애물 윤곽의 모든 포인트가 추출되면 단계 504를 수행한다.
단계 504에서, 원호 좌표 포인트를 기반으로 확장 윤곽의 2차원 포인트를 형성한다. 즉 모든 원호 좌표 포인트로부터 확장 윤곽의 2차원 포인트를 선별한다.
실시형태에서 첫 번째로, 모든 원호 좌표 포인트의 포락선을 확장 윤곽으로 사용한다.
실시형태에서 두 번째로, 모든 원호 좌표 포인트로부터 확장 윤곽의 2차원 포인트를 선별한다. 구체적으로, 깊이 카메라 수평 시야 범위 내에서 격자가 분할된 경우, 즉 시야 경계에 의해 형성된 범위 내에서 탑재면에서 로봇 본체의 투영 중심을 시작점으로 하여 동일한 각도로 복수의 방사선을 설정하고 격자를 형성하는 경우, 현재 격자 내에 확장 윤곽의 2차원 포인트가 없으면 단계 502에서 계산하여 얻은 원호 좌표 포인트 중 상기 격자에 위치한 원호 좌표 포인트를 상기 격자 확장 윤곽의 2차원 포인트로 사용하고; 현재 격자 내에 확장 윤곽의 2차원 포인트가 있으면 단계 502에서 계산한 원호 좌표 포인트 중 현재 격자 내에 위치한 원호 좌표 포인트 및 현재 격자 내 주어진 확장 윤곽의 2차원 포인트 중, 탑재면에서 로봇 본체의 투영 중심까지의 거리가 더 가까운 포인트를 판단하여 투영 중심과 더 가까운 포인트를 상기 현재 격자 내의 확장 윤곽의 2차원 포인트로 사용한다. 모든 격자 내 확장 윤곽의 2차원 포인트의 연결선을 확장 윤곽으로 사용하고, 다시 말해서 모든 격자 내 확장 윤곽의 2차원 포인트의 포락선을 확장 윤곽으로 사용한다.
도 6을 참조하면, 도 6은 이동 로봇이 위치한 장면의 모식도이다. 도 7을 참조하면, 도 7은 도 6에 도시된 장면의 깊이 이미지 데이터를 기반으로 감지된 2차원 포인트 클라우드 및 감지된 2차원 포인트 클라우드를 기반으로 결정된 윤곽 확장 결과의 모식도이다.
감지 기반의 장애물 윤곽 확장 결과 중 하나는 이동 로봇이 경로 계획 및 이동 제어, 장애물 회피 제어를 수행할 수 있다는 것이다. 도 7에 도시된 장애물 윤곽 확장 결과를 예로, 장애물 윤곽 확장이 없는 영역은 진행 가능한 영역으로, 실제 장면과 일치하다. 다시 말해서 확장 윤곽을 경계로, 이동 로봇과 가까운 일측은 실행 가능한 영역이고 타측은 실행 불가능한 영역이다.
본 발명의 실시예는 깊이 이미지 데이터를 이동 로봇 좌표계에서의 포인트 클라우드로 변환한 후, 설정된 높이 임계값에 따라 포인트 클라우드를 선별하여, 실제 환경에서 지면 포인트 클라우드와 이동 로봇 높이 위의 포인트 클라우드를 삭제함으로써, 이동 과정에서 접촉 가능한 장애물에 대응되는 포인트 클라우드를 이용하여 장애물 감지를 수행한다. 평면 내에서 이동 로봇이 이동할 때의 높이 방향 정보에 대해 깊이 카메라에 의해 획득된 3차원 포인트 클라우드가 중복되는 특성을 이용하여, 선별된 3차원 포인트 클라우드를 2차원 평면 내에 투영하는데, 이와 같이 2차원 포인트 클라우드는 마찬가지로 3차원 환경 중의 장애물 정보를 보류하였지만 2차원 포인트의 형태로 보존되고, 2차원 평면 내에서의 경로 계획 및 제어의 관점에서 볼 때, 많은 성숙된 방법을 사용하여 로봇이 장애물을 회피하는데 더 많은 편의를 제공할 수 있다. 2차원 지도에서 장애물에 대응되는 포인트 클라우드에서 직접 원을 샘플링하여 장애물의 확장 윤곽을 획득하여, 래스터화가 필요하지 않음으로써 래스터화 과정에서 시간 소모가 증가되고 정밀도가 손실되는 것을 방지할 수 있어 장애물 회피 제어에 정확한 확장 윤곽 데이터를 제공할 수 있다.
도 8을 참조하면, 도 8은 본 발명의 실시예에서 제공된 깊이 카메라 *?* 기반한 이동 로봇의 장애물 회피 시스템의 모식도이다. 이동 로봇 본체에 장착된 깊이 카메라로 현재 깊이 이미지 데이터를 획득하고, 장애물 감지 모듈은 깊이 데이터를 통해 장애물 정보를 획득하며 장애물 확장 윤곽을 생성하고, 이동 제어 모듈은 장애물 확장 윤곽에 따라 경로 계획 및 이동 제어를 수행하여 이동 명령을 생성하며, 실행 메커니즘은 이동 명령에 따라 진행함으로써 이동 로봇이 장애물을 회피하도록 구동한다.
여기서, 이동 명령은 움직임 명령이다. 상기 확장 윤곽은 즉 확장된 장애물의 윤곽이다.
도 9를 참조하면, 도 9는 본 발명의 실시예가 제공하는 장애물 감지 모듈의 모식도이다. 장애물 감지 모듈은,
깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하되, 이동 로봇 좌표계에서의 데이터가 이동 로봇 좌표계에서의 3차원 포인트인 제1 데이터 변환 모듈;
상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 제2 데이터 변환 모듈; 및
이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하여, 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 감지 모듈을 포함한다.
상기 장애물 감지 모듈은,
제1 데이터 변환 모듈을 변환한 후의 데이터를 선별하고 이동 로봇의 이동 평면 내에 속하는 데이터를 보류하는 선별 모듈을 더 포함한다. 다시 말해서, 이동 로봇 이동 과정에서 접촉 가능한 장애물에 대응되는 데이터이다.
상기 장애물 감지 모듈은,
탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로 하여 적어도 하나의 방사선을 설정하고, 방사선에서 상기 시작점까지 거리가 가장 가까운 2차원 포인트를 장애물 윤곽으로 사용하여 장애물 윤곽의 2차원 포인트를 획득하는 획득 가능한 영역 모듈을 더 포함하고,
장애물 윤곽에 포함된 임의의 2차원 포인트에 대해, 상기 2차원 포인트를 원심으로, 연장 거리를 반경으로 확장 원을 설정하고; 상기 시작점을 통해 상기 확장 원과 접하는 2개의 접선을 획득하며; 2개의 접선에 의해 끼워진 원호를 상기 장애물 윤곽의 2차원 포인트의 확장 경계로 사용하되, 여기서 끼워진 원호의 원심 각은 180°보다 작거나 같고, 상기 연장 거리는 적어도 탑재면에서 이동 로봇 본체의 투영 중심과 윤곽 사이의 최대 거리이다.
모든 장애물 윤곽의 2차원 포인트의 확장 경계를 획득하고, 모든 2차원 포인트 확장 경계의 포락선을 확장 윤곽의 2차원 포인트로 사용하여 이동 로봇의 진행에 있어서 실행 가능한 영역과 실행 불가능한 영역을 획득한다.
상기 제1 데이터 변환 모듈은 구체적으로, 깊이 이미지 데이터 중 어느 하나의 픽셀 포인트에 대해, 깊이 카메라 외부 파라미터, 픽셀 포인트의 깊이 값, 깊이 카메라 내부 파라미터 및 상기 픽셀 포인트의 좌표 값에 따라 이동 로봇 좌표계에서 상기 픽셀 포인트의 차원 포인트 좌표를 획득하고;
깊이 이미지 데이터 중 모든 픽셀 포인트를 이동 로봇 좌표계에서의 3차원 포인트 좌표로 변환하여 이동 로봇 좌표계에서의 3차원 포인트로 구성된 3차원 포인트 클라우드를 획득한다.
상기 제2 데이터 변환 모듈은 구체적으로, 이동 로봇 좌표계에서의 어느 하나의 3차원 포인트 좌표에 대해, 3차원 포인트 중 이동 로봇의 이동 평면에 수직인 좌표 값을 버리거나; 3차원 포인트 중 이동 로봇의 이동 평면에 수직인 좌표 값을 0으로 설정하여 이동 로봇의 이동 평면 내에서 상기 3차원 포인트의 2차원 투영을 획득하고;
이동 로봇 좌표계에서의 모든 3차원 포인트 좌표를 이동 로봇의 이동 평면 내 2차원 투영으로 변환하여 2차원 투영으로 구성된 2차원 포인트 클라우드를 획득한다.
상기 감지 모듈은 구체적으로, 이동 로봇의 전진 방향으로 이동 로봇과 상대적 위치가 고정되는 상기 검색 창을 구축하고;
검색 창 범위 내에 2차원 포인트 클라우드가 존재하는지 여부를 검출하여, 존재하면 장애물이 검출된 것으로 판정하며;
검색 창 범위 내에서 이동 로봇과의 거리가 가장 가까운 장애물의 위치에 따라 이동 로봇의 장애물 회피 여부를 판단하며, 회피할 필요가 있는 경우, 실행 가능한 영역 획득 모듈을 트리거하여 이동 로봇의 진행 가능한 영역을 획득한다.
상기 실행 가능한 영역 획득 모듈은 구체적으로, 현재 장애물 윤곽의 2차원 포인트 좌표를 극 좌표로 변환하고;
변환된 2차원 포인트 극 좌표와 연장 거리에 따라 극 좌표계에서 확장 원의 방정식을 결정하며;
극 좌표계에서 상기 확장 원의 방정식에 따라 현재 장애물 윤곽의 2차원 포인트 확장 원의 접선 각도 범위를 결정하고;
상기 접선 각도 범위 내에서, 설정된 현재 극각 값을 극 좌표계에서 상기 확장 원의 방정식에 대입하여 원호 포인트의 동경 값을 구하며; 동경 값 중 작은 값을 추출하여 접선에 의해 끼워진 원호 포인트의 극 좌표를 획득하고;
다음 극각 값을 설정하며, 되돌아가 접선에 의해 끼워진 원호 세그먼트의 원호 좌표 포인트 계산이 완료될 때까지, 상기 설정된 현재 극각 값을 극 좌표계에서 상기 확장 원의 방정식에 대입하는 단계를 수행하고;
모든 원호 포인트를 기반으로 형성된 원호를 현재 2차원 포인트의 확장 경계로 사용한다.
본 발명의 실시예는 메모리 및 프로세서를 포함하는 깊이 카메라 기반의 이동 로봇을 더 제공하며, 메모리에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 상기 임의의 상기 이동 로봇용 장애물 정보 감지 방법 단계를 구현한다.
메모리는 랜덤 액세스 메모리(Random Access Memory, RAM)를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리와 같은 비휘발성 메모리(Non-Volatile Memory, NVM)를 포함할 수도 있다. 선택 가능하게, 메모리는 전술한 프로세서에서 멀리 떨어진 적어도 하나의 저장 장치일 수도 있다.
상기 프로세서는 중앙 처리 장치(Central Processing Unit, CPU), 네트워크 프로세서(Network Processor, NP) 등을 포함하는 범용 프로세서일 수 있고; 디지털 신호 프로세서(Digital Signal Processing, DSP), 전용 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그램 가능 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 다른 프로그램 가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트일 수도 있다.
본 발명의 실시예는 다른 이동 로봇을 더 제공하며, 상기 이동 로봇 본체는,
상기 이동 로봇 본체에 장착되어 깊이 이미지 데이터를 획득하는 깊이 카메라;
상기 깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하고; 상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하며; 이동 로봇 진행 경로 범위 내에서 상기 2차원 데이터를 검출하여, 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 장애물 감지 모듈;
상기 장애물 정보에 따라 이동 명령을 형성하는 이동 제어 모듈; 및
상기 이동 명령을 실행하는 실행 메커니즘 모듈을 포함한다.
본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우,
깊이 이미지 데이터를 획득하는 단계;
깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 단계;
상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계; 및
이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하여, 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 단계를 구현한다.
본 발명은 깊이 이미지 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하고, 2차원 투영 데이터를 기반으로 검색하여 장애물 정보를 획득함으로써 2차원 레이저와 유사한 데이터를 획득하며, 기존의 장애물 회피 센서가 3차원 감지 및 장애물 회피를 수행할 수 없는 결함을 해결하여 대규모의 다단계의 장애물을 감지할 수 있다. 다른 한편으로, 깊이 데이터의 일반적인 처리 방법과 달리, 깊이 데이터를 이동 로봇의 이동 평면에 투영하여 애플리케이션에서, 2차원 환경에서 장애물 회피 제어의 성숙한 기술이 본 발명에서 제공된 해결수단에 적용되어 2차원 데이터를 획득할 수 있도록 함으로써, 본 발명에서 제공된 해결수단이 널리 사용될 수 있도록 한다. 본 발명에서 제공된 해결수단에서, 3차원 센서의 3차원 감지 정보를 이용할 수 있을 뿐만 아니라, 2차원 데이터를 기반으로 빠른 경로 계획을 수행할 수도 있다.
본 발명의 실시예는 명령을 포함한 컴퓨터 프로그램 제품을 더 제공하며, 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 경우 컴퓨터가 상기 임의의 상기 이동 로봇용 장애물 정보 감지 방법 단계를 수행하도록 한다.
본 발명은 깊이 이미지 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하고, 2차원 투영 데이터를 기반으로 검색하여 장애물 정보를 획득함으로써 2차원 레이저와 유사한 데이터를 획득하며, 기존의 장애물 회피 센서가 3차원 감지 및 장애물 회피를 수행할 수 없는 결함을 해결하여 대규모의 다단계의 장애물을 감지할 수 있다. 다른 한편으로, 깊이 데이터의 일반적인 처리 방법과 달리, 깊이 데이터를 이동 로봇의 이동 평면에 투영하여 애플리케이션에서, 2차원 환경에서 장애물 회피 제어의 성숙한 기술이 본 발명에서 제공된 해결수단에 적용되어 2차원 데이터를 획득할 수 있도록 함으로써, 본 발명에서 제공된 해결수단이 널리 사용될 수 있도록 한다. 본 발명에서 제공된 해결수단에서, 3차원 센서의 3차원 감지 정보를 이용할 수 있을 뿐만 아니라, 2차원 데이터를 기반으로 빠른 경로 계획을 수행할 수도 있다.
시스템, 이동 로봇, 저장 매체 및 컴퓨터 애플리케이션 실시예의 경우, 기본적으로 방법 실시예와 유사하므로 비교적 간단하게 설명하였으며, 관련 부분은 방법 실시예의 부분적 설명에 도시된 바와 같이 된다.
본 명세서에서, 제1 및 제2와 같은 관계 용어는 단지 하나의 엔티티 또는 동작을 다른 엔티티 또는 동작과 구별하기 위한 것이며, 이러한 엔티티 또는 동작 사이에 임의의 이러한 실제적인 관계 또는 순서가 존재함을 반드시 요구하거나 암시하는 것은 아니다. 또한, 용어 “포괄”, “포함” 또는 임의의 다른 변형은 비배타적인 포함을 포함하도록 의도됨으로써, 일련의 요소를 포함하는 과정, 방법, 물품 또는 기기가 이들 요소뿐만 아니라 명시적으로 열거되지 않은 다른 요소, 또는 이러한 과정, 방법, 물품 또는 기기의 고유 요소를 더 포함하도록 한다. 더 많은 제한이 없을 경우, “하나의 ...를 포함한다”라는 문장으로 정의된 요소는 그 요소를 포함하는 과정, 방법, 물품 또는 기기에 다른 동일한 요소가 별도로 존재한다는 것을 배제하지 않는다.
이상 서술은 단지 본 발명의 비교적 바람직한 실시예일 뿐, 본 발명을 한정하려는 것이 아니며, 본 발명의 정신과 원칙 이내에서 이루어진 모든 임의의 수정, 등가 교체, 개선 등은 모두 본 발명의 보호 범위 내에 포함되어야 한다.

Claims (15)

  1. 이동 로봇용 장애물 정보 감지 방법으로서,
    상기 방법은,
    깊이 이미지 데이터를 획득하는 단계;
    깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 단계;
    상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계;
    이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하는 단계; 및
    검출된 2차원 데이터에 따라 장애물 정보를 획득하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  2. 제1항에 있어서,
    상기 깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 단계는,
    깊이 이미지 데이터 중 어느 하나의 픽셀 포인트에 대해, 카메라 외부 파라미터, 픽셀 포인트의 깊이 값, 카메라 내부 파라미터 및 픽셀 포인트의 좌표 값을 통해 이동 로봇 좌표계에서 상기 픽셀 포인트의 3차원 포인트 좌표를 획득하는 단계; 및
    깊이 이미지 데이터 중 모든 픽셀 포인트를 이동 로봇 좌표계에서의 3차원 포인트 좌표로 변환한 후 이동 로봇 좌표계에서의 3차원 포인트로 구성된 3차원 포인트 클라우드를 획득하는 단계를 포함하고,
    상기 이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하는 단계는,
    이동 로봇 진행 경로 범위 내 장애물을 검출하기 위한 검색 창을 구축하고, 검색 창 범위 내에서 2차원 데이터를 검색하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  3. 제2항에 있어서,
    상기 카메라 외부 파라미터, 픽셀 포인트의 깊이 값, 카메라 내부 파라미터 및 픽셀 포인트의 좌표 값을 통해 이동 로봇 좌표계에서 상기 픽셀 포인트의 3차원 포인트 좌표를 획득하는 단계는,
    깊이 카메라의 외부 파라미터에 따라 이동 로봇 좌표계에서 깊이 카메라 좌표계까지의 변환 관계 행렬을 획득하는 단계; 및
    상기 변환 관계 행렬, 픽셀 포인트의 깊이 값, 카메라 내부 파라미터 행렬의 역행렬 및 픽셀 포인트 좌표 값으로 구성된 행렬의 곱을 계산하되, 얻은 결과가 이동 로봇 좌표계에서 픽셀 포인트의 3차원 포인트 좌표인 단계를 포함하고,
    픽셀 포인트 좌표 값으로 구성된 행렬은
    Figure pct00031
    이며, u, v는 각각 이미지 좌표계에서 픽셀 포인트의 좌표인 이동 로봇용 장애물 정보 감지 방법.
  4. 제2항에 있어서,
    상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계는,
    이동 로봇 좌표계에서의 어느 하나의 3차원 포인트 좌표에 대해, 3차원 포인트 중 이동 로봇의 이동 평면에 수직인 좌표 값을 버리고 이동 로봇의 이동 평면 내에서 상기 3차원 포인트의 2차원 투영을 획득하거나; 3차원 포인트 중 이동 로봇의 이동 평면에 수직인 좌표 값을 0으로 설정하여 이동 로봇의 이동 평면 내에서 상기 3차원 포인트의 2차원 투영을 획득하는 단계; 및
    이동 로봇 좌표계에서의 모든 3차원 포인트 좌표를 이동 로봇의 이동 평면 내 2차원 투영으로 변환한 후 2차원 투영으로 구성된 2차원 포인트 클라우드를 획득하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  5. 제2항에 있어서,
    상기 이동 로봇 진행 경로 범위 내 장애물을 검출하기 위한 검색 창을 구축하고, 검색 창 범위 내에서 2차원 데이터를 검색하는 단계는,
    이동 로봇의 전진 방향으로 이동 로봇과 상대적 위치가 고정되는 상기 검색 창을 구축하는 단계를 포함하고,
    상기 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 단계는,
    검색 창 범위 내에 2차원 포인트 클라우드가 존재하는지 여부를 검출하여, 존재하면 장애물이 검출된 것으로 판정하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계는,
    변환된 이동 로봇 좌표계에서의 데이터를 선별하고 이동 과정에서 접촉 가능한 장애물에 대응되는 데이터를 보류하는 단계; 및
    보류된 이동 과정에서 접촉 가능한 장애물에 대응되는 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  7. 제6항에 있어서,
    상기 이동 로봇의 탑재면은 지면이고, 상기 이동 과정에서 접촉 가능한 장애물에 대응되는 데이터를 보류하는 단계는, 상기 이동 로봇 좌표계에서의 3차원 포인트 좌표 중 z값이 제1 임계값보다 크고 제2 임계값보다 작은 3차원 포인트를 보류하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  8. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 방법은,
    검색 창 내 가장 가까운 장애물의 위치에 따라 이동 로봇이 회피할 필요가 있는지 여부를 판단하여, 회피할 필요가 있는 경우, 이동 로봇의 진행 가능한 영역을 획득하도록 트리거하는 단계를 더 포함하는 이동 로봇용 장애물 정보 감지 방법.
  9. 제8항에 있어서,
    상기 이동 로봇의 진행 가능한 영역을 획득하는 단계는,
    탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로, 동일한 각도로 적어도 하나의 방사선을 설정하고, 상기 시작점과의 거리가 가장 가까운 방사선 상의 2차원 포인트를 장애물 윤곽으로 사용하여 장애물 윤곽의 2차원 포인트를 획득하는 단계;
    장애물 윤곽의 임의의 2차원 포인트에 대해, 상기 2차원 포인트를 원심으로, 연장 거리를 반경으로 하여 확장 원을 설정하며; 상기 시작점을 통해 상기 확장 원과 접하는 2개의 접선을 획득하고; 2개의 접선에 의해 끼워진 원호를 상기 장애물 윤곽의 2차원 포인트의 확장 경계로 사용하되, 끼워진 원호의 원심 각은 180°보다 작거나 같고, 상기 연장 거리는 적어도 탑재면에서 이동 로봇 본체의 투영 중심과 윤곽 사이의 최대 거리인 단계; 및
    모든 장애물 윤곽의 2차원 포인트의 확장 경계를 획득하며, 모든 2차원 포인트의 확장 경계의 포락선을 확장 윤곽으로 사용하고, 확장 윤곽을 경계로 이동 로봇에 가까운 일측 영역을 실행 가능한 영역으로 사용하고 타측을 실행 불가능한 영역으로 사용하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  10. 제9항에 있어서,
    상기 장애물 윤곽의 임의의 2차원 포인트에 대해, 상기 2차원 포인트를 원심으로, 연장 거리를 반경으로 하여 확장 원을 설정하는 단계는,
    현재 장애물 윤곽의 2차원 포인트 좌표를 극 좌표로 변환하는 단계; 및
    변환된 극 좌표 및 연장 거리에 따라 극 좌표계에서 확장 원의 방정식을 결정하는 단계를 포함하고,
    상기 시작점을 통해 상기 확장 원과 접하는 2개의 접선을 획득하는 단계는,
    극 좌표계에서 상기 확장 원의 방정식에 따라 현재 장애물 윤곽의 2차원 포인트 확장 원의 접선 각도 범위를 결정하는 단계를 포함하며,
    상기 2개의 접선에 의해 끼워진 원호를 상기 장애물 윤곽의 2차원 포인트의 확장 경계로 사용하는 단계는,
    상기 접선 각도 범위 내에서,
    설정된 현재 극각 값을 극 좌표계에서 상기 확장 원의 방정식에 대입하여 원호 포인트의 동경 값을 구하고; 동경 값 중 작은 값을 추출하여 접선에 의해 끼워진 원호 포인트의 극 좌표를 획득하는 단계;
    다음 극각 값을 설정하고, 되돌아가 접선에 의해 끼워진 원호 세그먼트의 원호 좌표 포인트 계산이 완료될 때까지, 상기 설정된 현재 극각 값을 극 좌표계에서 상기 확장 원의 방정식에 대입하는 단계를 수행하는 단계; 및
    원호 포인트를 기반으로 현재 2차원 포인트의 확장 경계를 형성하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  11. 제10항에 있어서,
    상기 탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로, 동일한 각도로 적어도 하나의 방사선을 설정하는 단계는, 이미지 시야 경계로부터 시작하여, 탑재면에서 이동 로봇 본체의 투영 중심을 시작점으로, 동일한 각도로 방사선을 취하여 격자를 형성하는 단계를 더 포함하고,
    상기 원호 포인트를 기반으로 현재 2차원 포인트의 확장 경계를 형성하는 단계는,
    현재 격자 내에 확장 윤곽의 2차원 포인트가 없으면 계산된 원호 좌표 포인트 중 상기 격자에 위치한 원호 좌표 포인트를 상기 격자 확장 윤곽의 2차원 포인트로 사용하는 단계;
    현재 격자 내에 기존의 확장 윤곽의 2차원 포인트가 있으면 계산된 원호 좌표 포인트 중 격자 내에 위치한 원호 좌표 포인트 및 기존의 확장 윤곽의 2차원 포인트로부터 탑재면에서 이동 로봇 본체의 투영 중심까지의 거리가 어느 것이 더 가까운지 판단하고, 상기 투영 중심에 가까운 포인트를 상기 격자 확장 윤곽의 2차원 포인트로 사용하는 단계; 및
    모든 격자 확장 윤곽의 2차원 포인트를 현재 2차원 포인트의 확장 경계로 사용하는 단계를 포함하는 이동 로봇용 장애물 정보 감지 방법.
  12. 이동 로봇용 장애물 정보 감지 장치로서,
    상기 장치는,
    깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하는 제1 데이터 변환 모듈;
    상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하는 제2 데이터 변환 모듈; 및
    이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하여, 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 감지 모듈을 포함하는 이동 로봇용 장애물 정보 감지 장치.
  13. 이동 로봇으로서,
    상기 이동 로봇 본체는,
    이동 로봇 본체에 장착되어 깊이 이미지 데이터를 획득하는 깊이 카메라;
    깊이 이미지 데이터를 이동 로봇 좌표계에서의 데이터로 변환하고; 상기 이동 로봇 좌표계에서의 데이터를 이동 로봇의 이동 평면 내 투영으로 변환하여 2차원 데이터를 획득하며; 이동 로봇 진행 경로 범위 내에서 2차원 데이터를 검출하여, 검출된 2차원 데이터에 따라 장애물 정보를 획득하는 장애물 감지 모듈;
    장애물 정보에 따라 이동 명령을 형성하는 이동 제어 모듈; 및
    상기 이동 명령을 실행하는 실행 메커니즘 모듈을 포함하는 이동 로봇.
  14. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제11항 중 어느 한 항에 따른 이동 로봇용 장애물 정보 감지 방법의 단계를 구현하는 컴퓨터 판독 가능 저장 매체.
  15. 명령을 포함한 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품은 컴퓨터에서 실행될 경우 상기 컴퓨터가 제1항 내지 제11항 중 어느 한 항에 따른 이동 로봇용 장애물 정보 감지 방법의 단계를 수행하도록 하는 명령을 포함한 컴퓨터 프로그램 제품.
KR1020227012806A 2019-09-20 2020-09-17 이동 로봇용 장애물 정보 감지 방법, 장치 KR20220066325A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910892943.2A CN112631266A (zh) 2019-09-20 2019-09-20 一种移动机器人感知障碍信息的方法、装置
CN201910892943.2 2019-09-20
PCT/CN2020/115818 WO2021052403A1 (zh) 2019-09-20 2020-09-17 一种移动机器人感知障碍信息的方法、装置

Publications (1)

Publication Number Publication Date
KR20220066325A true KR20220066325A (ko) 2022-05-24

Family

ID=74883386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012806A KR20220066325A (ko) 2019-09-20 2020-09-17 이동 로봇용 장애물 정보 감지 방법, 장치

Country Status (5)

Country Link
EP (1) EP4033324B1 (ko)
JP (1) JP7314411B2 (ko)
KR (1) KR20220066325A (ko)
CN (1) CN112631266A (ko)
WO (1) WO2021052403A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102645206B1 (ko) * 2023-03-24 2024-03-08 치루 유니버시티 오브 테크놀로지 (산동 아카데미 오브 사이언시스) 송수관로 내벽 점검 로봇 및 검출 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110457B (zh) * 2021-04-19 2022-11-15 杭州视熵科技有限公司 在室内复杂动态环境中智能机器人的自主覆盖巡检方法
CN113190003B (zh) * 2021-05-06 2024-05-31 珠海格力智能装备有限公司 Agv避障方法、装置、计算机可读存储介质和处理器
CN113568003B (zh) * 2021-07-26 2022-11-01 奥特酷智能科技(南京)有限公司 一种用于机场地勤车的防撞预警系统及方法
CN114265412B (zh) * 2021-12-29 2023-10-24 深圳创维数字技术有限公司 车辆控制方法、装置、设备及计算机可读存储介质
CN114509064A (zh) * 2022-02-11 2022-05-17 上海思岚科技有限公司 一种自主扩展传感器数据处理的方法、接口及设备
CN114255252B (zh) * 2022-02-28 2022-05-17 新石器慧通（北京）科技有限公司 障碍物轮廓获取方法、装置、设备及计算机可读存储介质
CN115406445B (zh) * 2022-08-18 2024-05-17 四川华丰科技股份有限公司 多传感器数据融合处理方法及机器人避障方法
CN116185044B (zh) * 2023-04-26 2023-06-27 威康(深圳)智能有限公司 一种机器人集群系统的控制方法、装置、设备及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP5803043B2 (ja) 2010-05-20 2015-11-04 アイロボット コーポレイション 移動式ロボットシステム及び移動式ロボットを作動させる方法
US20140031980A1 (en) * 2011-11-11 2014-01-30 Jens-Steffen Gutmann Systems and methods for extending slam to multiple regions
CN105629989B (zh) * 2015-12-28 2018-04-17 电子科技大学 基于最小外包圆和最大内接圆的障碍区域划分方法
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN106599108B (zh) * 2016-11-30 2019-12-31 浙江大学 一种三维环境中多模态环境地图构建方法
CN106969770B (zh) * 2017-05-31 2021-04-06 深圳中智卫安机器人技术有限公司 一种机器人及其导航方法、计算机可读存储介质
JP7103359B2 (ja) * 2017-08-04 2022-07-20 ソニーグループ株式会社 制御装置、および制御方法、プログラム、並びに移動体
CN108733045B (zh) * 2017-09-29 2022-01-04 北京猎户星空科技有限公司 机器人及其避障方法以及计算机可读存储介质
CN108256430B (zh) * 2017-12-20 2021-01-29 北京理工大学 障碍物信息获取方法、装置及机器人
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法
CN109407705A (zh) * 2018-12-14 2019-03-01 厦门理工学院 一种无人机躲避障碍物的方法、装置、设备和存储介质
CN109947097B (zh) * 2019-03-06 2021-11-02 东南大学 一种基于视觉和激光融合的机器人定位方法及导航应用
CN110202577A (zh) * 2019-06-15 2019-09-06 青岛中科智保科技有限公司 一种实现障碍物检测的自主移动机器人及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102645206B1 (ko) * 2023-03-24 2024-03-08 치루 유니버시티 오브 테크놀로지 (산동 아카데미 오브 사이언시스) 송수관로 내벽 점검 로봇 및 검출 방법

Also Published As

Publication number Publication date
EP4033324A4 (en) 2022-11-02
WO2021052403A1 (zh) 2021-03-25
JP2022548743A (ja) 2022-11-21
EP4033324B1 (en) 2024-05-01
CN112631266A (zh) 2021-04-09
JP7314411B2 (ja) 2023-07-25
EP4033324A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
KR20220066325A (ko) 이동 로봇용 장애물 정보 감지 방법, 장치
US11086016B2 (en) Method and apparatus for tracking obstacle
CN107677279B (zh) 一种定位建图的方法及系统
US11300964B2 (en) Method and system for updating occupancy map for a robotic system
JP6664470B2 (ja) 高精度地図データの処理方法、装置、記憶媒体及び機器
CN113376650B (zh) 移动机器人定位方法及装置、电子设备及存储介质
KR102068419B1 (ko) 포인트 클라우드 데이터 수집 궤적을 조정하기 위한 방법, 장치 및 컴퓨터 판독 가능한 매체
JP6031554B2 (ja) 単眼カメラに基づく障害物検知方法及び装置
US10614324B2 (en) Method and apparatus for identifying static obstacle
KR102159376B1 (ko) 레이저 스캔 시스템, 레이저 스캔 방법, 이동 레이저 스캔 시스템 및 프로그램
WO2019062649A1 (zh) 一种自适应区域划分的方法及系统
KR101949609B1 (ko) 대표 광선 기반의 점유맵 업데이트 방법 및 시스템
JP5902275B1 (ja) 自律移動装置
CN110705385B (zh) 一种障碍物角度的检测方法、装置、设备及介质
WO2022141116A1 (zh) 三维点云分割方法和装置、可移动平台
Chen et al. Improving octree-based occupancy maps using environment sparsity with application to aerial robot navigation
JP2017526083A (ja) 位置特定およびマッピングの装置ならびに方法
CN111609853A (zh) 三维地图构建方法、扫地机器人及电子设备
Chen et al. GPU-accelerated incremental Euclidean distance transform for online motion planning of mobile robots
WO2022156447A1 (zh) 定位方法和装置、计算机装置和计算机可读存储介质
CA3135442A1 (en) Simultaneous localization and mapping
WO2022099620A1 (zh) 三维点云分割方法和装置、可移动平台
JP2021099689A (ja) 情報処理装置、情報処理方法、およびプログラム
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
Sun et al. Triangular mesh construction based on point cloud matrix and edge feature extraction