KR20240021954A - 이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체(interaction method and apparatus for mobile robot, and mobile robot and storage medium) - Google Patents

이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체(interaction method and apparatus for mobile robot, and mobile robot and storage medium) Download PDF

Info

Publication number
KR20240021954A
KR20240021954A KR1020247001573A KR20247001573A KR20240021954A KR 20240021954 A KR20240021954 A KR 20240021954A KR 1020247001573 A KR1020247001573 A KR 1020247001573A KR 20247001573 A KR20247001573 A KR 20247001573A KR 20240021954 A KR20240021954 A KR 20240021954A
Authority
KR
South Korea
Prior art keywords
pattern
projected
information
projection
mobile robot
Prior art date
Application number
KR1020247001573A
Other languages
English (en)
Inventor
쥔안 주
타오 장
총 궈
펑 첸
시앙 우
페이 정
쥔웨이 첸
Original Assignee
션젼 푸두 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202111354791.4A external-priority patent/CN114265397B/zh
Priority claimed from CN202111355659.5A external-priority patent/CN114274117A/zh
Application filed by 션젼 푸두 테크놀로지 컴퍼니 리미티드 filed Critical 션젼 푸두 테크놀로지 컴퍼니 리미티드
Publication of KR20240021954A publication Critical patent/KR20240021954A/ko

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/246Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/242Means based on the reflection of waves generated by the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40Control within particular dimensions
    • G05D1/43Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/60Open buildings, e.g. offices, hospitals, shopping areas or universities
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/30Radio signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)

Abstract

본 출원은 이동 로봇의 인터랙션 방법, 장치, 컴퓨터 설비, 저장매체 및 컴퓨터 프로그램 제품에 관한 것이다. 상기 방법은, 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 환경감지 센서에 의해 수집된 실시간 장애물 정보와 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한 실시간 환경감지 데이터를 획득하는 단계; 실시간 장애물 정보와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득하고, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정하는 단계; 이동 로봇의 주행 의도를 지시하기 위한 투영될 패턴을 획득하고, 투영될 패턴 및 지면 투영 영역에 따라 투영될 패턴에 대응하는 투영 파라미터를 결정하는 단계; 투영 파라미터에 따라 투영 장치를 제어함으로써 투영될 패턴을 지면 투영 영역에 투사하는 단계를 포함한다.

Description

이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체(INTERACTION METHOD AND APPARATUS FOR MOBILE ROBOT, AND MOBILE ROBOT AND STORAGE MEDIUM)
본 출원은 인공지능 분야에 관한 것으로, 특히 이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체에 관한 것이다.
이동 로봇은 현재 음식점, 쇼핑몰, 호텔 등 사람 유동량이 많은 장소에 적용되고 있다. 이동 로봇의 주행과정에서, 보행자와의 통행권 충돌이 일어나는 상황이 종종 발생한다. 위와 같은 상황을 고려하여, 보행자가 이동 로봇의 주행 의도를 즉각적으로 파악하고 이에 상응하는 조치를 취하여 통행권 충돌을 해결할 수 있는 인터랙션 방법을 제공할 필요가 있다.
종래 기술에서, 이동 로봇과 보행자 사이의 정보 인터랙션 방식은 주로 음성과 동작 방식을 포함하는데, 예를 들어, 이동 로봇은 마이크를 통해 사람의 명령을 수신하고, 상기 명령에 대응하는 알림 정보를 결정하며, 상기 알림 정보의 정보 내용을 사람에게 알리기 위한 알림 음성을 스피커를 통해 사람에게 발송하고; 또는 동작 명령을 수신하여 다양한 기계적 동작을 수행함으로써 명령 정보를 전달한다. 예를 들어, 일반적으로 음성 방송의 방식을 채택하여 이동 로봇과 보행자 간의 인터랙션을 구현함으로써 보행자가 이동 로봇의 주행 의도를 파악할 수 있도록 한다. 예시로, 이동 로봇이 우회전을 하는 경우 "우회전할 테니 조심해서 피해주세요”라는 음성을 방송하여 보행자에게 알린다.
종래 기술에서, 알림 정보는 알림 음성 또는 바디 동작을 통해 전달되는데, 알림 음성은 사람과 이동 로봇 사이의 거리, 주변 환경 소리, 언어 지역성 등 다양한 요소에 의해 영향을 받고, 알림 동작도 사람과 이동 로봇 사이의 거리에 의해 영향을 받는다. 특히 음식점, 쇼핑몰 등과 같이 소음이 많은 장소에서, 이동 로봇이 방송하는 음성은 보행자에게 명확하게 전달되기 어렵고 인터랙션 효과가 떨어진다. 따라서, 이동 로봇이 사람에게 알림 정보를 신속하고 정확하게 전달하기 어려워지며, 이로 인해 이동 로봇과 보행자 간의 인터랙션 효율이 낮아지고 인터랙션 정확도가 낮아진다.
본 출원은 이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체를 제공한다.
제1 측면에 따르면, 투영 장치와 환경감지 센서를 구비한 이동 로봇의 인터랙션 방법으로서,
상기 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 상기 환경감지 센서에 의해 수집된 실시간 장애물 정보와 상기 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한 실시간 환경감지 데이터를 획득하는 단계;
상기 실시간 장애물 정보와 상기 지도 데이터 정보에 기초하여 상기 이동 로봇의 목표 주행경로 정보를 획득하고, 상기 목표 주행경로 정보와 상기 실시간 지시 정보에 따라 지면 투영 영역을 결정하는 단계;
상기 이동 로봇의 주행 의도를 지시하기 위한 투영될 패턴을 획득하고, 상기 투영될 패턴 및 상기 지면 투영 영역에 따라 상기 투영될 패턴에 대응하는 투영 파라미터를 결정하는 단계;
상기 투영 파라미터에 따라 상기 투영 장치를 제어함으로써 상기 투영될 패턴을 상기 지면 투영 영역에 투사하는 단계를 포함한다.
제2 측면에 따르면, 이동 로봇의 인터랙션 장치로서,
이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 환경감지 센서에 의해 수집된 실시간 장애물 정보와 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한 실시간 환경감지 데이터를 획득하도록 구성된 획득 모듈;
실시간 장애물 정보와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득하고, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정하도록 구성된 경로 모듈;
이동 로봇의 주행 의도를 지시하기 위한 투영될 패턴을 획득하고, 투영될 패턴 및 지면 투영 영역에 따라 투영될 패턴에 대응하는 투영 파라미터를 결정하도록 구성된 결정 모듈;
투영 파라미터에 따라 투영 장치를 제어함으로써 투영될 패턴 정보를 지면 투영 영역에 투사하도록 구성된 투영 모듈을 포함한다.
제3 측면에 따르면, 투영 장치, 환경감지 센서 및 프로세서를 포함하는 이동 로봇으로서,
환경감지 센서는 실시간 장애물 정보와 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한 실시간 환경감지 데이터를 수집하도록 구성되고,
프로세서는 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 실시간 환경감지 데이터를 획득하고, 실시간 장애물 정보와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득하며, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정하고, 이동 로봇의 주행 의도를 지시하기 위한 투영될 패턴을 획득하며, 투영될 패턴 및 지면 투영 영역에 따라 투영될 패턴에 대응하는 투영 파라미터를 결정하고, 투영될 패턴을 지면 투영 영역에 투사하기 위해 투영 파라미터에 따라 투영 장치를 제어하도록 구성되며,
투영 장치는 투영될 패턴을 지면 투영 영역에 투사하도록 구성된다.
제4 측면에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 저장매체로서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상술한 제1 측면에 따른 이동 로봇의 인터랙션 방법이 구현된다.
본 출원의 하나 이상의 실시예의 세부 사항들은 이하의 도면 및 설명에 기재되어 있다. 본 출원의 다른 특징 및 장점은 명세서, 첨부 도면 및 청구범위로부터 명백해질 것이다.
이하, 본 출원의 실시예 또는 종래 기술의 기술적 수단을 보다 명확하게 설명하기 위해, 실시예 또는 종래 기술의 설명에서 사용되는 도면에 대해 간략하게 설명한다. 이하에서 설명되는 도면은 단지 본 출원의 일부 실시예에 불과하고, 당업자는 창조적인 작업 없이 이러한 도면에 따라 다른 도면을 얻을 수 있다는 것은 자명하다.
도 1은 본 출원의 일 실시예에 따른 이동 로봇의 구조를 제시하는 도면이다.
도 2는 본 출원의 일 실시예에 따른 이동 로봇의 인터랙션 방법의 흐름을 제시하는 도면이다.
도 3은 본 출원의 일 실시예에 따른 이동 로봇의 투영 영역을 제시하는 도면이다.
도 4는 본 출원의 일 실시예에 따른 이동 로봇의 투영 적용을 제시하는 도면이다.
도 5는 본 출원의 일 실시예에 따른 101 단계의 흐름을 제시하는 도면이다.
도 6은 본 출원의 다른 실시예에 따른 101 단계의 흐름을 제시하는 도면이다.
도 7은 본 출원의 일 실시예에 따른 102 단계의 흐름을 제시하는 도면이다.
도 8은 본 출원의 일 실시예에 따른 103 단계의 흐름을 제시하는 도면이다.
도 9는 본 출원의 일 실시예에 따른 RGBD 센서의 작동을 제시하는 도면이다.
도 10은 본 출원의 일 실시예에 따른 레이저 투영 장치의 구조를 제시하는 도면이다.
도 11은 본 출원의 다른 실시예에 따른 레이저 투영 장치의 구조를 제시하는 도면이다.
도 12는 본 출원의 일 실시예에 따른 104 단계의 흐름을 제시하는 도면이다.
도 13은 본 출원의 다른 실시예에 따른 이동 로봇의 인터랙션 방법의 흐름을 제시하는 도면이다.
도 14는 본 출원의 또 다른 실시예에 따른 이동 로봇의 인터랙션 방법의 흐름을 제시하는 도면이다.
도 15는 본 출원의 일 실시예에 따른 이동 로봇의 인터랙션 장치의 구조를 제시하는 블록도이다.
도 16은 본 출원의 일 실시예에 따른 이동 로봇의 인터랙션 방법 기반의 흐름도이다.
도 17은 본 출원의 일 실시예에 따른 장애물 기반의 로봇 인터랙션 방법의 105 단계를 제시하는 흐름도이다.
도 18은 본 출원의 일 실시예에 따른 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하지 않는 경우를 제시하는 도면이다.
도 19는 본 출원의 일 실시예에 따른 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하는 경우를 제시하는 도면이다.
도 20은 본 출원의 일 실시예에 따른 이동 로봇이 이동 과정 중에 장애물 영역과의 중첩 영역이 존재하는 것을 제시하는 도면이다.
도 21은 본 출원의 일 실시예에 따른 이동 로봇의 내부 구조를 제시하는 도면이다.
본 출원은 2021년 11월 16일에 출원한, 출원번호가 202111354791.4이고, 명칭이 "이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체"인 중국특허출원; 및 2021년 11월 16일에 출원한, 출원번호가 202111355659.5이고, 명칭이 "로봇, 장애물 기반의 로봇 인터랙션 방법, 장치 및 매체"인 중국특허출원의 우선권을 주장하며, 여기서 모든 내용은 참고용으로 원용된다.
본 출원에 대한 이해를 돕기 위하여, 이하에서 첨부된 도면을 참조하여 본 출원에 대하여 보다 전면적으로 설명한다. 도면에는 본 출원의 실시예가 도시되어 있다. 그러나 본 출원은 본 명세서에 기재된 실시예에 한정되지 않고, 여러 가지 다른 형식으로 구현될 수 있다. 이러한 실시예는 본 출원의 개시 내용을 보다 철저하고 전면적으로 이해하기 위해 제공된다.
본 명세서에서 사용된 모든 기술 및 과학 용어는 달리 정의되지 않는 한 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 것과 동일한 의미를 갖는다. 본 명세서에서 사용되는 용어는 실시예를 구체적으로 설명하기 위한 것이며, 본 출원의 범위를 제한하는 것으로 해석되지 않는다. 본 명세서에서 사용되는 용어 "및/또는"은 나열된 관련 항목에 대한 임의 및 모든 조합을 포함한다.
본 출원의 실시예에 따른 이동 로봇의 인터랙션 방법에서, 그 실행 주체는 도 1에 도시된 바와 같은 이동 로봇에 구비된 이동 로봇의 인터랙션 장치가 될 수 있으며, 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합을 통해 이동 로봇의 단말기(terminal)의 일부 또는 전부를 구현할 수 있다. 상기 단말기는 개인용 컴퓨터, 노트북 컴퓨터, 미디어 플레이어, 스마트 TV, 스마트폰, 태블릿 컴퓨터 및 휴대용 웨어러블 설비일 수 있다.
상기 이동 로봇에는 복수의 환경감지 센서와 레이저 투영 장치가 배치되어 있다. 여기서, 환경감지 센서는 1개, 2개 또는 그 이상일 수 있다. 환경감지 센서가 복수인 경우, 각 환경감지 센서의 설정은 상이하다. 도 1은 이동 로봇을 예시적으로 도시한 것으로서, 도 1에 도시된 바와 같이, 상기 복수의 환경감지 센서는 RGBD 카메라(1)와 레이더 장치(3)를 포함하고; 투영 장치(2)는 이동 로봇의 주행 기구(4)의 위쪽에 배치되고, 여기서 주행 기구(4)는 휠 허브 모터(wheel hub motor)를 포함할 수 있으며, 참고로, 환경감지 센서의 센서 종류 및 장착 위치는 실제 상황에 따라 조정될 수 있다.
도 2는 본 출원의 실시예에 따른 이동 로봇의 인터랙션 방법을 제시하는 흐름도이다. 본 실시예에서는 상기 방법을 단말기에 적용한 것을 예시로 설명하고 있으나, 이 방법은 단말기와 서버를 포함하는 시스템에도 적용될 수 있으며, 단말기와 서버 간의 인터랙션에 의해 구현될 수 있다. 도 2에 도시된 바와 같이, 상기 이동 로봇의 인터랙션 방법은 다음과 같은 단계를 포함할 수 있다.
101 단계: 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고, 환경감지 센서에 의해 수집된 실시간 환경감지 데이터를 획득한다.
여기서, 실시간 환경감지 데이터는 실시간 장애물 정보와 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한다. 장애물은 정지 장애물과 이동 장애물인 두 가지 유형을 포함하며, 각 유형의 장애물의 데이터는 한정되지 않는다. 상기 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보는, 적어도 이동 로봇 주변의 노면 형상 정보 및 주변 노면 상의 장애물 분포 상황을 포함한다.
일부 실시예에서, 상기 환경감지 센서는 적어도 RGBD 카메라를 포함한다. 상기 RGBD 카메라는 이동 로봇과 이동 로봇 주변의 장애물 사이의 거리, 장애물 식별 정보, 및 이동 로봇 주변의 도로상황을 지시하는 실시간 지시 정보를 탐지하도록 구성된다. 이동 로봇은 RGBD 카메라에 의해 수집된 컬러 영상과 깊이 영상을 처리하여 실시간 환경감지 데이터를 획득한다.
선택적인 일 구현예에서, 지도 데이터 정보는 기설정 저장 영역으로부터 저장된 지도 데이터 정보를 직접 호출함으로써 획득하며, 기설정 저장 영역은 서버 또는 이동 로봇의 단말기일 수 있다. 선택적인 다른 구현예에서, 상기 지도 데이터 정보는 이동 로봇에 의해 실시간으로 구축된다. 이동 로봇의 이동 과정에서, 환경감지 센서를 이용하여 지도 구축에 필요한 데이터를 수집하고, 수집된 데이터를 바탕으로 지도를 구축하고 보완한다.
102 단계: 실시간 환경감지 데이터와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득하고, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정한다.
음식점이나 쇼핑몰의 환경에서, 정적 장애물은 테이블, 의자, 쓰레기통, 캐비닛 등과 같이 일정 시간 동안 위치가 고정된 물체로 간주될 수 있다. 일부 실시예에서, 상기 지도 데이터 정보는 이러한 정적 장애물의 위치 정보를 포함한다. 이동 로봇은 주행을 시작하기 전에 먼저 출발점 위치와 도착점 위치를 획득한 후, 지도 데이터 정보에 기초하여 출발점 위치에서 도착점 위치까지의 초기 주행경로를 결정한다. 환경감지 센서는 이동 로봇 주변에 이동 장애물(예를 들어 보행자)이 있다고 탐지되는 경우, 장애물 회피 동작을 수행하여 이동 로봇의 주행경로를 변경하고, 즉, 실시간 환경감지 데이터와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득한다.
일부 실시예에서, 이동 로봇은 획득된 실시간 환경감지 데이터와 지도 데이터 정보에 따라 경로 계획 알고리즘을 이용하여 경로 계획을 수행함으로써 목표 주행경로 정보를 획득하며, 여기서 상기 경로 계획 알고리즘(path planning algorithm)은 증분 휴리스틱(Incremental Heuristic) 알고리즘, BUG 알고리즘, 그래프 검색 알고리즘(Graph Search Algorithm), 또는 다양한 경로 계획 알고리즘을 통합한 조합 알고리즘 등을 포함한다.
일부 실시예에서, 이동 로봇은 목표 주행경로 정보를 획득한 후, 상기 목표 주행경로에 따라 지면 투영 영역으로서 향후 일정 기간 동안 이동 로봇이 주행할 노면 영역을 결정한다. 여기서, 상기 향후 일정 기간의 길이는 이동 로봇의 주행 속도에 따라 결정될 수 있다.
도 3에 도시된 바와 같이, (a) 도면은 이동 로봇 주변 공간의 3차원 개략도로, 6은 투영 장치의 투영 출사구, 7~10은 장애물, 11은 투영 영역의 개략도, 12는 이동 로봇을 나타내고, (b) 도면은 (a) 도면에 대응하는 지면(地面) 분포도로, 7'~10'은 장애물(7~10)과 지면 사이의 접촉면, 12'는 이동 로봇(12)과 지면 사이의 접촉면, 13은 이동 로봇의 목표 주행 방향을 나타낸다.
이동 로봇(12)과 지면 사이의 접촉면의 중심 위치에 대응하는 좌표점을 이동 로봇의 좌표 위치로 하고, 즉 (b) 도면의 이고, 목표 주행경로 정보에 따라 향후 일정 기간 내 이동 로봇의 일련의 이동 좌표점을 결정하고, 상기 일련의 이동 좌표점에 의해 하나의 중심선(즉, (b) 도면의 곡선(14))이 형성되며, 상기 중심선을 양쪽으로 일정 거리만큼 평행이동시켜 2개의 가장자리선을 얻고, 여기서 평행이동한 거리 값은 이동 로봇 밑면의 폭의 절반이다. 2개의 가장자리선 사이의 영역이 바로 (b) 도면에서 11'로 표기되는 지면 투영 영역이다.
일부 실시예에서, 목표 주행경로 정보에 따라 지면 투영 영역이 위치한 방향을 결정하고, 노면 형상 정보 및 상기 실시간 장애물 분포 정보에 따라 지면 투영 영역의 크기 및 형상을 결정한다. 예를 들어, 노면 형상 정보가 만곡 형상인 경우, 상기 지면 투영 영역의 형상은 만곡 형상이 된다. 실시간 장애물 분포 정보가 실시간 장애물 앞의 여유 공간이 상대적으로 좁은 것인 경우, 지면 투영 영역을 작게 조정할 필요가 있다.
103 단계: 투영될 패턴 정보를 획득하고, 투영될 패턴 정보 및 지면 투영 영역에 따라 투영될 패턴에 대응하는 투영 파라미터를 결정한다.
여기서, 투영될 패턴 정보는 이동 로봇의 주행 의도를 지시하기 위한 것이다. 상기 투영될 패턴은 문자 패턴, 도형 패턴, 또는 문자와 기하학적 도형이 조합된 패턴일 수 있고, 또한 동영상일 수도 있다. 상기 투영될 패턴 정보는 지면에 점멸 표시(blinking display)될 수 있다.
일부 실시예에서, 상기 투영 파라미터는 투사각도, 투사색상, 투사 내용, 투사시간 등을 포함한다.
104 단계: 투영 파라미터에 따라 레이저 투영 장치를 제어함으로써, 투영될 패턴 정보를 지면 투영 영역에 투사한다.
도 4에 도시된 바와 같이, 투영 파라미터가 결정된 후, 이동 로봇은 투영 파라미터에 따라 투영 장치(2)를 조정함으로써, 투영 장치(2)가 투영될 패턴 정보를 지면 투영 영역에 투사하고, 주변 보행자가 지면의 투영 정보를 통해 이동 로봇의 주행 의도를 파악하도록 한다.
본 실시예에서는 이동 로봇의 목표 주행경로 정보와 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보에 따라 지면 투영 영역을 결정하고, 결정된 투영될 패턴에 대응하는 투영 파라미터에 기초하여, 이동 로봇의 주행 의도를 나타내기 위한 투영될 패턴을 지면 투영 영역에 투사하도록 레이저 투영 장치를 조정함으로써, 보행자는 투영 장치가 지면에 투사한 투영 패턴 정보를 통해 이동 로봇의 주행 의도를 파악할 수 있으므로, 로봇이 위치한 공간 환경의 소리가 시끄러워서 발생하는 인터랙션 효과 저하의 기술적 문제를 해결하여, 이동 로봇과 보행자 간의 인터랙션 효과를 향상시킬 수 있다.
본 출원의 구현에 있어서, 도 5를 참조하면, 본 실시예에 의해 제공되는 이동 로봇의 인터랙션 방법은, 도 2에 도시된 실시예에 따른 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 환경감지 센서에 의해 수집된 실시간 환경감지 데이터를 획득하는 101 단계 이전에, 201 단계, 202 단계 및 203 단계를 더 포함한다.
201 단계: 이동 로봇이 위치한 공간의 환경이 기설정 환경 조건을 만족하는 상황에서 환경감지 센서에 의해 수집된 과거 환경감지 데이터를 획득한다.
여기서, 상기 기설정 환경 조건은 이동 로봇이 위치한 공간의 환경에 보행자의 수가 상대적으로 적은 것, 및/또는 이동 로봇이 위치한 공간의 환경에 사람이 없는 것을 포함한다.
일부 실시예에서, 상기 과거 환경감지 데이터는 예를 들어 테이블, 의자, 쓰레기통과 같은 이동 로봇이 위치한 공간에 존재하는 정적 장애물 정보를 포함한다. 기설정 환경 조건이 이동 로봇이 위치한 공간의 환경에 보행자의 수가 상대적으로 적은 것인 경우, 환경감지 센서에 의해 수집된 원시 감지 데이터에서 보행자 관련 정보를 필터링하여 과거 환경감지 데이터를 획득한다.
일부 실시예에서, 이동 로봇은 획득된 과거 환경감지 데이터 수집 시간 정보에 따라 상기 과거 환경감지 데이터 수집 동작을 언제 수행할지 결정한다. 예를 들어, 과거 환경감지 데이터 수집 시점(時點)을 매일 밤 23시로 설정한다.
202 단계: 과거 환경감지 데이터에 따라 이동 로봇이 위치한 공간의 공간 좌표 정보를 결정하고, 공간 좌표 정보에 따라 공간 지도를 생성한다.
여기서, 상기 공간 좌표 정보는 이동 로봇이 위치한 공간 전체의 공간 좌표 정보, 또는 이동 로봇이 통과하게 될 공간의 공간 좌표 정보이고, 예를 들어 음식점이나 쇼핑몰의 공간 좌표 정보 또는 쇼핑몰에서 이동 로봇의 서비스 영역에 대응하는 공간의 공간 좌표 정보이다. 예를 들어, 이동 로봇의 서비스 영역이 쇼핑몰 2층의 영역인 경우, 쇼핑몰 2층의 공간 좌표 정보를 결정할 필요가 있다.
여기서, 공간 좌표 정보는 2차원 좌표 정보 또는 3차원 좌표 정보이다. 일부 실시예에서, 도 3에 도시된 바와 같이, 지면을 평면으로 하여 2차원 좌표를 설정하고 기준 위치점을 하나 설정한다. 예를 들어, 상기 기준 위치점은 공간 내의 어느 정적 장애물의 위치점이거나, 또는 지면에 기준 물체를 하나 놓고, 그 기준 물체가 위치한 위치점을 기준 위치점으로 한다. 상기 기준 위치점의 2차원 좌표에 기초하여, 상기 공간 내 다른 위치점에 대응하는 2차원 좌표를 결정한다.
203 단계: 지도의 데이터 정보를 지도 데이터 정보로 한다.
본 실시예에서는 이동 로봇이 위치한 공간의 환경이 기설정 환경 조건을 만족하는 상황에서 환경감지 센서에 의해 수집된 과거 환경감지 데이터를 획득하여, 공간의 공간 좌표 정보를 결정하고, 공간 좌표 정보에 따라 공간 지도를 생성한다. 상기 지도는 기설정 환경 조건을 만족하는 공간 환경에서 수집된 과거 환경감지 데이터에 기초하여 구축한 것이기 때문에, 공간 내의 간섭 정보가 감소되어 지도 구축의 난이도와 지도 데이터 정보의 데이터량이 낮아진다.
본 실시예에서, 각 환경감지 센서는 레이더 장치 및 카메라 장치를 포함하며, 도 6을 참조하면, 본 실시예는 101 단계에서 환경감지 센서에 의해 수집된 실시간 환경감지 데이터를 획득하는 과정에 관한 것이다. 도 5에 도시된 실시예에 기초하여, 상기 과정은 도 6에 도시된 바와 같이 301 단계, 302 단계 및 303 단계를 포함한다.
301 단계: 레이더 장치에 의해 수집된 장애물과 이동 로봇 사이의 실시간 거리 정보를 획득한다.
일부 실시예에서, 상기 레이더 장치는 레이저 레이더 장치 및 초음파 레이더 장치 중 적어도 하나를 포함한다. 상기 레이저 레이더 장치는 2D 또는 3D 평면 범위 내에서 로봇과 로봇 주변 물체 사이의 거리를 탐지하도록 구성된다.
302 단계: 카메라 장치에 의해 수집된 실시간 장애물 식별 정보, 이동 로봇 주변 노면의 노면 형상 정보 및 이동 로봇 주변 노면의 실시간 장애물 분포 정보를 획득한다.
일부 실시예에서, 상기 카메라 장치는 RGBD 카메라를 포함하거나, 또는 상기 카메라 장치는 RGBD 카메라와 RGB 카메라를 포함한다.
여기서, 상기 실시간 장애물 식별 정보에는 상기 장애물이 보행자인지 여부를 식별하는 것이 포함된다. 일부 실시예에서, 이미지 인식 알고리즘(image recognition arithmetic)을 이용하여 RGB 카메라 또는 RGBD 카메라에 의해 수집된 장애물의 영상을 식별함으로써, 상기 장애물이 보행자인지 여부를 결정한다.
일부 실시예에서, 상기 카메라 장치가 RGBD 카메라 및 RGB 카메라를 포함하는 경우, RGB 카메라는 레이더 장치와 조합되어 사용되고, 레이더 장치가 장애물의 존재를 탐지하면, 이동 로봇은 실시간 장애물 식별 정보를 획득하기 위해 RGB 카메라를 작동시켜 수집 동작을 수행한다.
303 단계: 실시간 장애물 식별 정보와 실시간 거리 정보를 실시간 장애물 정보로 하고, 노면 형상 정보와 실시간 장애물 분포 정보를 실시간 지시 정보로 한다.
본 실시예에서는 레이더 장치를 이용하여 장애물과 이동 로봇 사이의 실시간 거리 정보를 획득하고, 카메라 장치를 이용하여 실시간 장애물 식별 정보, 이동 로봇 주변 노면의 노면 형상 정보 및 이동 로봇 주변 노면의 실시간 장애물 분포 정보를 획득함으로써, 실시간 환경감지 데이터의 획득을 실현한다. 다양한 수집 장치를 조합하여 사용함으로써, 실시간 환경감지 데이터의 다양성 및 실시간 환경감지 데이터의 신뢰성을 향상시킨다.
본 출원의 실시예에서, 도 7을 참조하면, 본 실시예는 도 2에 도시된 실시예에 기초하여 102 단계에서 실시간 장애물 정보와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득하는 과정에 관한 것으로, 401 단계 및 402 단계를 포함한다.
401 단계: 지도 데이터 정보와 실시간 장애물 정보에 따라 이동 로봇의 실시간 위치와 장애물의 위치를 결정한다.
일부 실시예에서는, 지도 상에 있는 이동 로봇의 좌표 위치를 획득하여 실시간 위치로 한 후, 실시간 장애물 정보에 따라 지도 상에 있는 상기 장애물의 좌표 위치를 결정하여 장애물의 위치로 한다.
402 단계: 이동 로봇의 목표 도착점 위치를 획득하고, 실시간 위치와 장애물의 위치에 기초하여 실시간 위치에서 목표 도착점 위치까지의 최단 경로 정보를 결정하며, 최단 경로 정보를 이동 로봇의 목표 주행경로 정보로 한다.
일부 실시예에서, 실시간 위치에서 목표 도착점 위치까지의 최단 경로 정보는 최단 경로 알고리즘을 이용하여 결정된다. 여기서, 상기 최단 경로 알고리즘은 Dijkstra 알고리즘, Bellman-Ford 알고리즘, Floyd 알고리즘, 및 SPFA 알고리즘 등을 포함한다.
본 실시예에서는 지도 데이터 정보와 실시간 장애물 정보에 따라 이동 로봇의 실시간 위치와 장애물의 위치를 결정하며, 또한 이동 로봇의 목표 도착점 위치를 획득하고, 실시간 위치와 장애물의 위치에 기초하여 실시간 위치에서 목표 도착점 위치까지의 최단 경로 정보를 결정함으로써, 이동 로봇의 목표 주행경로 정보에 대한 실시간 결정을 실현하고, 이동 로봇의 경로 계획의 신뢰성을 향상시킨다.
본 출원의 실시예에서, 도 8을 참조하면, 본 실시예는 도 2에 도시된 실시예에 기초하여 103 단계에서 투영될 패턴 정보 및 지면 투영 영역에 따라 레이저 투영 장치의 투영 파라미터를 결정하는 과정에 관한 것으로, 501 단계 및 502 단계를 포함한다.
501 단계: 투영될 패턴의 각 픽셀점에 대해, 지면 투영 영역에 따라 픽셀점에 대응하는 투사각도, 픽셀점에 대응하는 투사시간, 및 픽셀점에 대응하는 투사색상을 결정한다.
일부 실시예에서, 투영될 패턴의 각 픽셀점과 지면 투영 영역의 특정 공간 좌표점 간의 대응 관계를 획득하고, 상기 대응 관계에 따라 각 픽셀점에 대응하는 투사각도, 각 픽셀점에 대응하는 투사시간, 및 각 픽셀점에 대응하는 투사색상을 결정하여 얻는다.
일부 실시예에서, 도 9에 도시된 바와 같이, 상기 지면 투영 영역에는 평탄하지 않은 영역이 존재할 수 있다. RGBD 카메라를 이용하여, 이동 로봇 주변 노면과 RGBD 카메라 사이의 수직거리 정보를 획득한다.
각 픽셀점에 대해, 먼저 투영될 패턴 정보가 평탄한 노면에 투사되는 경우에 대응하는 원시 투사각도, 투사시간 및 투사색상을 가정한 다음, 상기 이동 로봇 주변 노면과 RGBD 카메라 사이의 수직거리 정보에 따라 투사각도 보정 파라미터를 획득하고, 상기 투사각도 보정 파라미터와 원시 투사각도에 따라 샘플링점(sampling point)에 대응하는 실제 투사각도를 최종적으로 획득하며, 상기 실제 투사각도가 곧 샘플링점에 대응하는 투사각도이다.
502 단계: 각 픽셀점에 대응하는 투사각도, 각 픽셀점에 대응하는 투사시간, 및 각 픽셀점에 대응하는 투사색상을 레이저 투영 장치의 투영 파라미터로 한다.
본 실시예에서는 투영될 패턴의 각 픽셀점에 대해 대응하는 투사각도, 투사시간 및 투사색상을 각각 결정함으로써, 투영 장치의 투영 파라미터의 결정을 실현하여 투영될 패턴의 투영 효과를 향상시키고; 또한, 각 픽셀점의 색상 정보를 설정할 수 있어, 노면에 투사된 투영 패턴을 컬러 패턴으로 만듦으로써 주변 보행자의 관심을 더 쉽게 끌 수 있고 이동 로봇과 보행자 간의 인터랙션 효과를 더욱 향상시킨다.
본 출원의 실시예에서, 도 10 및 도 11에 도시된 바와 같이, 투영 장치는 갈바노미터, 가시광 레이저기 및 렌즈를 포함하고, 상기 갈바노미터는 회전 갈바노미터 또는 MEMS 고체 갈바노미터이며, 레이저광의 투사 방향을 제어하도록 구성되고, 가시광 레이저기는 가시광 대역의 레이저광을 방출하여 표시를 수행하도록 구성되며, 렌즈는 다양한 색상의 레이저광을 합성하도록 구성된다.
일 실시예에서, 상기 갈바노미터가 회전 갈바노미터인 경우, 도 10에 도시된 바와 같이, 상기 투영 장치는 제1 회전 갈바노미터(13), 제2 회전 갈바노미터(14), 렌즈(15), 제1 가시광 레이저기(16), 제2 가시광 레이저기(17) 및 제3 가시광 레이저기(18)를 포함한다. 제1 가시광 레이저기(16), 제2 가시광 레이저기(17) 및 제3 가시광 레이저기(18)는 각각 레이저광을 방출하고, 렌즈(15)는 입사된 레이저광을 한줄기의 광선으로 합성하며, 이어서 제1 회전 갈바노미터(13)와 제2 회전 갈바노미터(14)는 합성된 광선의 방향을 조정하고, 최종적으로 투영될 패턴(19)을 투사한다.
다른 실시예에서, 상기 갈바노미터가 MEMS 고체 갈바노미터인 경우, 도 11에 도시된 바와 같이, 상기 투영 장치는 MEMS 고체 갈바노미터(20), 렌즈(15), 제1 가시광 레이저기(16), 제2 가시광 레이저기(17) 및 제3 가시광 레이저기(18)를 포함한다. 제1 가시광 레이저기(16), 제2 가시광 레이저기(17) 및 제3 가시광 레이저기(18)는 각각 레이저광을 방출하고, 렌즈(15)는 입사된 레이저광을 한줄기의 광선으로 합성하며, 이어서 MEMS 고체 갈바노미터(20)는 합성된 광선의 방향을 조정하고, 최종적으로 투영될 패턴(19)을 투사한다.
도 12를 참조하면, 본 실시예는 도 9에 도시된 실시예에 기초하여 104 단계에서 투영 파라미터에 따라 레이저 투영 장치를 조정함으로써 투영될 패턴 정보를 지면 투영 영역에 투사하는 과정에 관한 것으로, 601 단계, 602 단계 및 603 단계를 포함한다.
601 단계: 각 픽셀점에 대응하는 투사각도에 따라 각 픽셀점에 대응하는 갈바노미터의 회전 각도를 결정하고, 각 픽셀점에 대응하는 투사색상에 따라 각 픽셀점에 대응하는 가시광 레이저기의 레이저 방출 정보 및 렌즈의 레이저 합성 정보를 결정한다.
여기서, 가시광 레이저기에 대응하는 레이저는 적색, 녹색, 청색(RGB)의 3원색 레이저를 포함하며, 상기 레이저 방출 정보는 가시광 대역을 포함한다. 일부 실시예에서, 투사색상에 따라 도 10 또는 도 11에 도시된 3개의 가시광 레이저기에 각각 대응하는 가시광 대역을 결정한다.
602 단계: 각 픽셀점에 대응하는 투사시간에 따라 각 픽셀점의 투사순서를 결정한다.
603 단계: 각 픽셀점의 투사순서에 의거하여, 각 픽셀점에 대응하는 갈바노미터의 회전 각도, 각 픽셀점에 대응하는 레이저 방출 정보 및 각 픽셀점에 대응하는 렌즈의 레이저 합성 정보에 따라 레이저 투영 장치를 조정함으로써, 투영될 패턴 정보를 지면 투영 영역에 투사한다.
본 실시예에서는 지면 투영 영역에 투영될 패턴 정보의 시각적 표시를 실현하고, 지면에 컬러 패턴을 투사하여 보행자의 관심을 쉽게 끌고 인터랙션 효과를 향상시킬 수 있다.
본 출원의 실시예에서, 도 13을 참조하면, 이동 로봇의 인터랙션 방법은 도 2에 도시된 실시예에 기초하여, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정하는 단계 이전에, 다음과 같은 단계를 더 포함한다.
701 단계: 목표 주행경로 정보와 실시간 환경감지 데이터에 따라 기설정 투영 조건에 부합하는지 여부를 판단한다.
여기서, 상기 기설정 투영 조건은, 향후 기설정 시간 내에 이동 로봇의 주행 방향이 변경되는 것, 이동 로봇의 주행 상태가 정지 상태인 것, 이동 로봇 주변에 보행자가 존재하는 것, 및 이동 로봇이 현재에 운행 상태인 것으로부터 선택되는 적어도 하나의 조건을 포함한다.
일부 실시예에서, 상기 기설정 투영 조건은 이동 로봇의 주행 상황과 관련된다. 상이한 기설정 투영 조건에 대해 투영될 패턴 정보를 상이하게 설정할 수 있다. 예를 들어, 이동 로봇의 주행 방향이 변경되는 경우, 투영될 패턴 정보는 "주행 방향에 대응하는 화살표 표시와 문자의 조합 형식"이 될 수 있고, 이동 로봇의 주행 상태가 정지 상태인 경우, 투영될 패턴 정보는 "당신이 먼저 가세요"인 문자 패턴, 또는 "xxx분 후에 걷기 시작합니다"인 문자 패턴 등이 될 수 있다.
일부 실시예에서, 상기 기설정 투영 조건은 이동 로봇이 현재에 운행 상태인 것이다. 이동 로봇이 파워온(power on) 상태인지 여부를 검측하고, 파워온 상태이면 투영 장치를 작동시켜 투영을 수행한다. 이러한 경우, 이동 로봇의 투영 장치는 항상 패턴을 투사하고 있는 상태이다. 지면에 투사된 투영 패턴은 실시간으로 변할 수 있다.
일부 실시예에서, 상기 기설정 투영 조건은 이동 로봇 주변의 소리 세기가 기설정 값보다 높다는 것이다. 이동 로봇에 소리수집 장치를 배치하고, 상기 소리수집 장치를 이용하여 이동 로봇 주변의 소리를 수집하며, 주변의 소리 세기가 기설정 값보다 높을 경우 투영 방식을 통해 인터랙션을 수행하고, 주변의 소리 세기가 기설정 값보다 낮을 경우 음성 알림 방식을 통해 인터랙션을 수행한다.
702 단계: 판단 결과가 기설정 투영 조건에 부합하는 것일 때, 목표 주행경로 정보에 따라 지면 투영 영역을 결정한다.
본 실시예에서는 목표 주행경로 정보와 실시간 환경감지 데이터에 따라 기설정 투영 조건에 부합하는지 여부를 판단하고, 판단 결과가 기설정 투영 조건에 부합하는 것일 때, 목표 주행경로 정보에 따라 지면 투영 영역을 결정함으로써, 기설정 투영 조건에 부합하는 상황에서만 투영될 패턴의 투사를 수행하므로, 투영 장치의 투영 설정 유연성을 향상시키고 이동 로봇의 에너지 손실 및 연산량을 감소시키며 레이저 투영 장치의 사용수명을 향상시킨다.
본 출원의 실시예에서, 도 13에 도시된 실시예에 기초하여, 상기 기설정 투영 조건은 이동 로봇이 현재에 운행 상태인 경우, 103 단계에서 투영될 패턴 정보를 획득하는 것은, 다음과 같은 단계를 포함한다.
801 단계: 목표 주행경로 정보에 따라, 현재 이동 로봇에 의해 투사된 패턴이 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단한다.
여기서, 현재 이동 로봇에 의해 투사된 패턴은 현재 시점에서 지면에 투사되고 있는 투영 패턴이다.
802 단계: 반영할 수 있으면, 현재 이동 로봇에 의해 투사된 패턴을 투영될 패턴으로 한다.
여기서, 상기 투영될 패턴은 현재 시점의 다음 시점에 지면에 투사하고자 하는 투영 패턴이다.
803 단계: 반영할 수 없으면, 이동 로봇의 주행 의도에 따라 투영될 패턴을 생성한다.
일부 실시예에서, 이동 로봇의 다양한 주행 의도에 따라 투영될 패턴이 상이하게 설정된다. 이동 로봇의 주행 의도가 변경되는 경우, 지면에 투사되는 패턴도 변하게 된다. 즉, 다음 시점의 투영 패턴은 이전 시점의 투영 패턴과 상이하다. 예를 들어, 이동 로봇의 주행 의도가 "전방 직진"에서 "좌회전" 또는 "우회전"으로 변경되는 경우, 현재 투사된 패턴(즉, "전방 직진"을 나타내는 투영 패턴)을 "좌회전" 또는 "우회전"을 나타내는 투영 패턴으로 변경해야 한다.
본 실시예에서는 현재 이동 로봇에 의해 투사된 패턴이 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하고, 이동 로봇의 주행 의도를 반영할 수 없으면 이동 로봇의 주행 의도에 따라 투영될 패턴을 생성함으로써, 이동 로봇의 주행 의도에 따른 투영 패턴의 실시간 조정을 구현하므로, 보행자가 이동 로봇의 주행 의도를 정확하게 파악할 수 있도록 하여, 이동 로봇이 보행자에게 정보를 전달하는 정확도를 높이고, 이동 로봇과 보행자 간의 인터랙션 효과를 더욱 향상시킨다.
본 출원의 실시예에서, 도 14에 도시된 바와 같이, 이동 로봇의 인터랙션 방법은 다음과 같은 단계를 포함한다.
901 단계: 이동 로봇이 위치한 공간의 환경이 기설정 환경 조건을 만족하는 상황에서 환경감지 센서에 의해 수집된 과거 환경감지 데이터를 획득한다.
902 단계: 과거 환경감지 데이터에 따라 이동 로봇이 위치한 공간의 공간 좌표 정보를 결정하고, 공간 좌표 정보에 따라 공간 지도를 지도 데이터 정보로서 생성한다.
903 단계: 레이더 장치에 의해 수집된 장애물과 이동 로봇 사이의 실시간 거리 정보와, 카메라 장치에 의해 수집된 실시간 장애물 식별 정보, 이동 로봇 주변 노면의 노면 형상 정보 및 이동 로봇 주변 노면의 실시간 장애물 분포 정보를 획득한다.
904 단계: 실시간 장애물 식별 정보와 실시간 거리 정보를 실시간 장애물 정보로 하고, 노면 형상 정보와 실시간 장애물 분포 정보를 실시간 지시 정보로 한다.
905 단계: 지도 데이터 정보와 실시간 장애물 정보에 따라 이동 로봇의 실시간 위치와 장애물의 위치를 결정한다.
906 단계: 이동 로봇의 목표 도착점 위치를 획득하고, 실시간 위치와 장애물의 위치에 기초하여 실시간 위치에서 목표 도착점 위치까지의 최단 경로 정보를 결정하며, 최단 경로 정보를 이동 로봇의 목표 주행경로 정보로 한다.
907 단계: 목표 주행경로 정보와 실시간 환경감지 데이터에 따라 기설정 투영 조건에 부합하는지 여부를 판단하고, 판단 결과가 기설정 투영 조건에 부합하는 것일 때, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정한다.
여기서, 기설정 투영 조건은, 향후 기설정 시간 내에 이동 로봇의 주행 방향이 변경되는 것, 이동 로봇의 주행 상태가 정지 상태인 것, 이동 로봇 주변에 보행자가 존재하는 것, 및 이동 로봇이 현재에 운행 상태인 것으로부터 선택되는 적어도 하나의 조건을 포함한다.
908 단계: 투영될 패턴을 획득한다.
여기서, 기설정 투영 조건은 이동 로봇이 현재에 운행 상태인 경우, 목표 주행경로 정보에 따라, 현재 이동 로봇에 의해 투사된 패턴이 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하고; 반영할 수 있으면, 현재 이동 로봇에 의해 투사된 패턴을 투영될 패턴으로 하고, 반영할 수 없으면, 이동 로봇의 주행 의도에 따라 투영될 패턴을 생성한다.
909 단계: 투영될 패턴의 각 픽셀점에 대해, 지면 투영 영역에 따라 픽셀점에 대응하는 투사각도, 픽셀점에 대응하는 투사시간, 및 픽셀점에 대응하는 투사색상을 결정한다.
910 단계: 각 픽셀점에 대응하는 투사각도, 각 픽셀점에 대응하는 투사시간, 및 각 픽셀점에 대응하는 투사색상을 레이저 투영 장치의 투영 파라미터로 한다.
911 단계: 각 픽셀점에 대응하는 투사각도에 따라 각 픽셀점에 대응하는 갈바노미터의 회전 각도를 결정하고, 각 픽셀점에 대응하는 투사색상에 따라 각 픽셀점에 대응하는 가시광 레이저기의 레이저 방출 정보 및 렌즈의 레이저 합성 정보를 결정한다.
912 단계: 각 픽셀점에 대응하는 투사시간에 따라 각 픽셀점의 투사순서를 결정한다.
913 단계: 각 픽셀점의 투사순서에 의거하여, 각 픽셀점에 대응하는 갈바노미터의 회전 각도, 각 픽셀점에 대응하는 레이저 방출 정보 및 각 픽셀점에 대응하는 렌즈의 레이저 합성 정보에 따라 레이저 투영 장치를 조정함으로써, 투영될 패턴 정보를 지면 투영 영역에 투사한다.
본 실시예에서는 레이저 투영 장치를 이용하여 투영될 영상을 지면에 투사하여, 보행자가 이동 로봇의 주행 의도를 파악하도록 하므로, 이동 로봇과 보행자 간의 인터랙션 효과를 향상시키며, 로봇이 위치한 공간 환경의 소리가 시끄러워서 발생하는 인터랙션 효과 저하의 기술적 문제를 해결한다. 또한, 노면에 투사된 투영 패턴은 컬러 패턴이 될 수 있어 보행자의 관심을 더 잘 끌고 인터랙션 효과를 향상시킨다. 투영 조건을 미리 설정할 수 있어, 투영 장치의 유연성을 향상시키며, 실제 시나리오에 따라 투영 패턴을 조정할 수 있어, 이동 로봇이 보행자에게 정보를 전달하는 정확도를 향상시키고, 이동 로봇과 보행자 간의 인터랙션 효과를 더욱 향상시킨다.
본 출원의 일 실시예에서, 상기 이동 로봇의 인터랙션 방법은, 상기 투영 파라미터에 따라 상기 투영 장치를 제어함으로써 상기 투영될 패턴이 상기 지면 투영 영역에 투사되도록 하는 104 단계 이후에, 다음과 같은 단계를 더 포함할 수 있다.
105 단계: 운행 과정 중 투영될 패턴을 실시간으로 투사하고, 운행 과정 중 노면에 존재하는 장애물 영역을 획득한다.
106 단계: 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는지 여부를 검측하고, 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는 경우, 상기 중첩 영역에 따라 상기 투영될 패턴을 조정함으로써 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 없도록 한다.
본 실시예에서, 상기 투영될 패턴은 구체적으로 주행 지시도일 수 있으며; 투영될 패턴과 장애물 영역 사이의 곡선 중첩 영역을 결정함으로써, 곡선 중첩 영역에 따라 투영될 패턴을 조정하여, 로봇에 의해 송출된 투영될 패턴이 장애물 영역에 따라 동적으로 변형되고, 상기 조정을 거친 투영될 패턴은 장애물 영역과 겹치지 않으므로, 로봇과 장애물 간의 정보 인터랙션이 이루어져 로봇과 사람 사이의 정보 인터랙션의 효율성과 정보 인터랙션의 정확도를 향상시킨다.
일 실시예에서, 상기 운행 과정 중 노면에 존재하는 장애물 영역을 획득하는 단계는,
운행 과정 중 장애물 정보를 실시간으로 수집하고, 상기 장애물 정보에 대응하는 픽셀 정보를 기설정 투영도(projection drawing)에 매핑하는 것;
모든 상기 픽셀 정보가 포함된 투영 영역에서 최소면적 영역을 결정하고, 상기 최소면적 영역을 상기 장애물 영역으로 기록하는 것을 포함한다.
일 실시예에서, 상기 투영될 패턴은 초기 투영될 패턴, 및 상이한 시점(時點)에 따른 확대 비율로 생성된 상이한 확대 투영될 패턴을 포함하며, 상기 운행 과정 중 투영될 패턴을 실시간으로 투사하는 단계는,
상기 초기 투영될 패턴을 투사하고, 상기 상이한 시점에 의거하여 이미 생성된 확대 투영될 패턴을 상기 초기 투영될 패턴과 배열시켜 투사하는 것을 포함한다.
일 실시예에서, 상기 투영될 패턴은 초기 투영될 패턴 및 확대 투영될 패턴으로부터 선택되는 적어도 하나를 포함하며, 상기 운행 과정 중 투영될 패턴을 실시간으로 투사하는 단계는,
상기 초기 투영될 패턴을 기설정 확대 비율에 따라 단계적으로 확대처리하여 상기 확대 투영될 패턴을 형성하고, 상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 투사하는 것을 포함한다.
일 실시예에서, 상기 초기 투영될 패턴을 기설정 확대 비율에 따라 단계적으로 확대처리하여 상기 확대 투영될 패턴을 형성하고, 상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 투사하는 것은,
초기 투영될 패턴을 획득하는 107 단계;
상기 초기 투영될 패턴을 기설정 확대 비율에 따라 단계적으로 확대처리하여 확대 투영될 패턴을 형성하는 108 단계;
상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 시계열로 표시하고, 표시된 상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나가 상기 투영될 패턴인 109 단계를 포함한다.
일 실시예에서, 상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 단계는,
상기 중첩 영역에서 중첩 투영될 패턴과 상기 장애물 영역의 2개의 곡선 교차점을 결정하고, 상기 중첩 투영될 패턴은 상기 초기 투영될 패턴 또는 상기 확대 투영될 패턴인 것;
상기 중첩 투영될 패턴에서 2개의 상기 곡선 교차점 사이에 있는 선분(line segment)에 대해 삭제처리를 하고, 삭제처리를 거친 상기 중첩 투영될 패턴에 있는 2개의 나머지 곡선 선분을 얻는 것;
2개의 상기 곡선 교차점의 연결선에 대응하는 수직 이등분선 교차점을 결정하는 것;
상기 수직 이등분선 교차점과 경계 교차점 사이의 수직거리를 검측하고, 상기 수직거리를 기설정 거리 임계값과 비교하며, 상기 경계 교차점은 상기 수직 이등분선과 상기 장애물 영역의 가장자리의 교차점이고, 상기 경계 교차점은 상기 곡선 중첩 영역 내에 위치하는 것;
상기 수직거리가 기설정 거리 임계값 이하인 경우, 2개의 상기 나머지 곡선 선분, 상기 곡선 교차점 및 상기 경계 교차점에 따라 상기 투영될 패턴을 조정하는 것을 포함한다.
일 실시예에서, 상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 단계는,
상기 장애물 영역과 중첩되는 영역을 갖는 초기 투영될 패턴 또는 확대 투영될 패턴을 중첩 투영될 패턴으로 기록하며, 상기 중첩 투영될 패턴은 상기 장애물 영역과 중첩되는 중첩 영역, 및 상기 장애물 영역과 중첩되지 않는 나머지 영역을 포함하는 것;
상기 중첩 투영될 패턴의 중첩 영역을 삭제하거나 상기 중첩 투영될 패턴을 기설정 비율에 따라 축소하여 상기 중첩 투영될 패턴이 상기 장애물 영역의 가장자리에 접하도록 함으로써 조정을 거친 투영될 패턴을 얻는 것을 포함한다.
일 실시예에서, 상기 2개의 상기 나머지 곡선 선분, 상기 곡선 교차점 및 상기 경계 교차점에 따라 상기 투영될 패턴을 조정하여, 조정을 거친 투영될 패턴을 얻는 단계는,
기설정 연결 방식을 통해 2개의 곡선 교차점과 상기 경계 교차점을 연결하여 연결 선분을 얻는 것;
2개의 상기 나머지 곡선 선분과 상기 연결 선분을 연결하여 형성된 투영될 패턴은 조정을 거친 투영될 패턴으로 기록하는 것을 포함한다.
일 실시예에서, 상기 수직거리를 기설정 거리 임계값과 비교한 후에,
상기 수직거리가 상기 기설정 거리 임계값보다 크면, 상기 투영될 패턴의 투사를 중단하는 것을 더 포함한다.
일 실시예에서, 상기 중첩 영역에 따라 상기 투영될 패턴을 조정한 후에,
로봇의 현재 위치 정보를 획득하고, 상기 현재 위치 정보에 따라 상기 로봇과 상기 장애물 영역 사이의 위치 거리를 결정하는 것;
상기 위치 거리에 따라, 조정을 거친 상기 투영될 패턴의 색상 파라미터를 결정하고, 상기 색상 파라미터에 따라 조정을 거친 상기 투영될 패턴을 투사하는 것을 더 포함한다.
상술한 실시예에서 각 단계의 순번 크기는 실행 순서의 전후를 의미하는 것이 아니고, 각 과정의 실행 순서는 그 기능과 내재된 논리에 따라 결정되어야 하며, 본 출원의 실시예들의 실행 과정에 대한 한정으로 해석되어서는 아니된다.
도 2, 도 5 내지 도 8, 도 12 내지 도 14, 도 16 내지 도 17에 도시된 흐름도의 각 단계는 화살표의 방향에 따라 순차적으로 표시되지만, 이러한 단계들은 반드시 화살표로 표시된 순서대로 수행되는 것은 아님을 이해해야 한다. 본 명세서에서 명시적으로 언급되지 않는 한, 이러한 단계들의 수행 순서는 엄격하게 제한되지 않으며, 이러한 단계들은 다른 순서로 수행될 수 있다. 또한, 도 2, 도 5 내지 도 8, 도 12 내지 도 14, 도 16 내지 도 17의 단계들 중 적어도 일부는 복수의 단계 또는 복수의 절차를 포함할 수 있고, 이러한 단계 또는 절차는 반드시 동시에 수행되는 것이 아닌 상이한 시간에 수행될 수 있으며, 이러한 단계 또는 절차의 수행 순서도 반드시 순차적으로 진행되는 것이 아닌 다른 단계 또는 다른 단계에 포함된 단계 또는 절차의 적어도 일부와 순차대로 또는 교대로 수행될 수 있다.
본 출원의 실시예에서, 도 15에 도시된 바와 같이, 획득 모듈, 경로 모듈, 결정 모듈 및 투영 모듈을 포함하는 이동 로봇의 인터랙션 장치를 제공한다.
획득 모듈은 이동 로봇이 위치한 공간의 지도 데이터 정보, 및 환경감지 센서에 의해 수집된 실시간 환경감지 데이터를 획득하도록 구성되고, 실시간 환경감지 데이터는 실시간 장애물 정보와 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한다.
경로 모듈은 실시간 장애물 정보와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득하고, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정하도록 구성된다.
결정 모듈은 투영될 패턴을 획득하고, 투영될 패턴 및 지면 투영 영역에 따라 투영될 패턴에 대응하는 투영 파라미터를 결정하도록 구성되며, 투영될 패턴 정보는 이동 로봇의 주행 의도를 지시하기 위한 것이다.
투영 모듈은 투영 파라미터에 따라 투영 장치를 제어함으로써 투영될 패턴 정보를 지면 투영 영역에 투사하도록 구성된다.
일 실시예에서, 상기 장치는 구체적으로 다음과 같은 지도 모듈을 더 포함한다.
지도 모듈은, 이동 로봇이 위치한 공간의 환경이 기설정 환경 조건을 만족하는 상황에서 환경감지 센서에 의해 수집된 과거 환경감지 데이터를 획득하며,
과거 환경감지 데이터에 따라 이동 로봇이 위치한 공간의 공간 좌표 정보를 결정하고, 공간 좌표 정보에 따라 공간 지도를 생성하고,
지도의 데이터 정보를 지도 데이터 정보로 하도록 구성된다.
일 실시예에서, 환경감지 센서는 레이더 장치와 카메라 장치를 포함하고, 획득 모듈은,
레이더 장치에 의해 수집된 장애물과 이동 로봇 사이의 실시간 거리 정보를 획득하고,
카메라 장치에 의해 수집된 실시간 장애물 식별 정보, 이동 로봇 주변 노면의 노면 형상 정보 및 이동 로봇 주변 노면의 실시간 장애물 분포 정보를 획득하며,
실시간 장애물 식별 정보와 실시간 거리 정보를 실시간 장애물 정보로 하고, 노면 형상 정보와 실시간 장애물 분포 정보를 실시간 지시 정보로 하도록 구성된다.
일 실시예에서, 상기 경로 모듈은,
지도 데이터 정보와 실시간 장애물 정보에 따라 이동 로봇의 실시간 위치와 장애물의 위치를 결정하고,
이동 로봇의 목표 도착점 위치를 획득하고, 실시간 위치와 장애물의 위치에 기초하여 실시간 위치에서 목표 도착점 위치까지의 최단 경로 정보를 결정하며, 최단 경로 정보를 이동 로봇의 목표 주행경로 정보로 하도록 구성된다.
일 실시예에서, 상기 결정 모듈은,
투영될 패턴의 각 픽셀점에 대해, 지면 투영 영역에 따라 픽셀점에 대응하는 투사각도, 픽셀점에 대응하는 투사시간, 및 픽셀점에 대응하는 투사색상을 결정하고,
각 픽셀점에 대응하는 투사각도, 각 픽셀점에 대응하는 투사시간, 및 각 픽셀점에 대응하는 투사색상을 투영 장치의 투영 파라미터로 하도록 구성된다.
일 실시예에서, 투영 장치는 갈바노미터, 가시광 레이저기 및 렌즈를 포함하고, 상기 투영 모듈은,
각 픽셀점에 대응하는 투사각도에 따라 각 픽셀점에 대응하는 갈바노미터의 회전 각도를 결정하고, 각 픽셀점에 대응하는 투사색상에 따라 각 픽셀점에 대응하는 가시광 레이저기의 레이저 방출 정보 및 렌즈의 레이저 합성 정보를 결정하고,
각 픽셀점에 대응하는 투사시간에 따라 각 픽셀점의 투사순서를 결정하며,
각 픽셀점의 투사순서에 의거하여, 각 픽셀점에 대응하는 갈바노미터의 회전 각도, 각 픽셀점에 대응하는 레이저 방출 정보 및 각 픽셀점에 대응하는 렌즈의 레이저 합성 정보에 따라 투영 장치를 조정함으로써 투영될 패턴 정보를 지면 투영 영역에 투사하도록 구성된다.
일 실시예에서, 상기 경로 모듈은 또한,
목표 주행경로 정보와 실시간 환경감지 데이터에 따라 기설정 투영 조건에 부합하는지 여부를 판단하고,
판단 결과가 기설정 투영 조건에 부합하는 것일 때, 목표 주행경로 정보에 따라 지면 투영 영역을 결정하도록 구성된다.
일 실시예에서, 기설정 투영 조건은,
향후 기설정 시간 내에 이동 로봇의 주행 방향이 변경되는 것, 이동 로봇의 주행 상태가 정지 상태인 것, 이동 로봇 주변에 보행자가 존재하는 것, 및 이동 로봇이 현재에 운행 상태인 것으로부터 선택되는 적어도 하나의 조건을 포함한다.
일 실시예에서, 상기 결정 모듈은 또한,
기설정 투영 조건은 이동 로봇이 현재에 운행 상태인 경우, 목표 주행경로 정보에 따라, 현재 이동 로봇에 의해 투사된 패턴이 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하고;
반영할 수 있으면, 현재 이동 로봇에 의해 투사된 패턴을 투영될 패턴으로 하고,
반영할 수 없으면, 이동 로봇의 주행 의도에 따라 투영될 패턴을 생성하도록 구성된다.
일 실시예에서, 상기 결정 모듈은 또한,
실시간 장애물 정보에 의해 이동 로봇 주변에 존재하는 장애물이 이동 장애물인 것으로 지시되면, 목표 주행경로 정보에 따라 현재 이동 로봇에 의해 투사된 패턴이 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하는 단계를 수행하도록 구성된다.
일 실시예에서, 상기 이동 로봇의 인터랙션 장치는,
운행 과정 중 투영될 패턴을 실시간으로 투사하고, 운행 과정 중 노면에 존재하는 장애물 영역을 획득하도록 구성된, 장애물 영역 획득 모듈;
상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는지 여부를 검측하고, 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는 경우, 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 없도록 상기 중첩 영역에 따라 상기 투영될 패턴을 조정하도록 구성된, 중첩 영역 검측 모듈을 더 포함할 수 있다.
본 출원의 일 실시예에서, 투영 장치, 환경감지 센서 및 프로세서를 포함하는 이동 로봇을 제공하며,
환경감지 센서는 실시간 환경감지 데이터를 수집하도록 구성되고, 실시간 환경감지 데이터는 실시간 장애물 정보와 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함하며,
프로세서는 이동 로봇이 위치한 공간의 지도 데이터 정보 및 실시간 환경감지 데이터를 획득하고, 실시간 장애물 정보와 지도 데이터 정보에 기초하여 이동 로봇의 목표 주행경로 정보를 획득하며, 목표 주행경로 정보와 실시간 지시 정보에 따라 지면 투영 영역을 결정하고, 이동 로봇의 주행 의도를 지시하기 위한 투영될 패턴을 획득하며, 투영될 패턴 및 지면 투영 영역에 따라 투영될 패턴에 대응하는 투영 파라미터를 결정하고, 투영 파라미터에 따라 투영 장치를 제어함으로써 투영될 패턴을 지면 투영 영역에 투사하도록 구성된다.
투영 장치는 투영될 패턴을 지면 투영 영역에 투사하도록 구성된다.
일 실시예에서, 프로세서는 또한,
이동 로봇이 위치한 공간의 환경이 기설정 환경 조건을 만족하는 상황에서 환경감지 센서에 의해 수집된 과거 환경감지 데이터를 획득하고, 과거 환경감지 데이터에 따라 이동 로봇이 위치한 공간의 공간 좌표 정보를 결정하며, 공간 좌표 정보에 따라 공간 지도를 생성하고, 지도의 데이터 정보를 지도 데이터 정보로 하도록 구성된다.
일 실시예에서, 상기 환경감지 센서는 레이더 장치 및 카메라 장치를 포함하고;
레이더 장치는 장애물과 이동 로봇 사이의 실시간 거리 정보를 수집하도록 구성되고,
카메라 장치는 실시간 장애물 식별 정보, 이동 로봇 주변 노면의 노면 형상 정보 및 이동 로봇 주변 노면의 실시간 장애물 분포 정보를 수집하도록 구성되며,
프로세서는 실시간 거리 정보 및 실시간 장애물 식별 정보를 획득하여, 실시간 거리 정보 및 실시간 장애물 식별 정보를 실시간 장애물 정보로 하며, 노면 형상 정보 및 실시간 장애물 분포 정보를 획득하여, 노면 형상 정보 및 실시간 장애물 분포 정보를 실시간 지시 정보로 하도록 구성된다.
일 실시예에서, 상기 프로세서는,
지도 데이터 정보와 실시간 장애물 정보에 따라 이동 로봇의 실시간 위치와 장애물의 위치를 결정하며, 이동 로봇의 목표 도착점 위치를 획득하고, 실시간 위치와 장애물의 위치에 기초하여 실시간 위치에서 목표 도착점 위치까지의 최단 경로 정보를 결정하며, 최단 경로 정보를 이동 로봇의 목표 주행경로 정보로 하도록 구성된다.
일 실시예에서, 상기 프로세서는,
투영될 패턴의 각 픽셀점에 대해, 지면 투영 영역에 따라 픽셀점에 대응하는 투사각도, 픽셀점에 대응하는 투사시간, 및 픽셀점에 대응하는 투사색상을 결정하고, 각 픽셀점에 대응하는 투사각도, 각 픽셀점에 대응하는 투사시간, 및 각 픽셀점에 대응하는 투사색상을 투영 장치의 투영 파라미터로 하도록 구성된다.
일 실시예에서, 상기 투영 장치는 갈바노미터, 가시광 레이저기 및 렌즈를 포함하고,
상기 프로세서는, 각 픽셀점에 대응하는 투사각도에 따라 각 픽셀점에 대응하는 갈바노미터의 회전 각도를 결정하고, 각 픽셀점에 대응하는 투사색상에 따라 각 픽셀점에 대응하는 가시광 레이저기의 레이저 방출 정보 및 렌즈의 레이저 합성 정보를 결정하며, 각 픽셀점에 대응하는 투사시간에 따라 각 픽셀점의 투사순서를 결정하고, 각 픽셀점의 투사순서에 의거하여, 각 픽셀점에 대응하는 갈바노미터의 회전 각도, 각 픽셀점에 대응하는 레이저 방출 정보 및 각 픽셀점에 대응하는 렌즈의 레이저 합성 정보에 따라 투영 장치를 조정함으로써, 투영될 패턴 정보를 지면 투영 영역에 투사하도록 구성되고;
상기 투영 장치는 각 픽셀점의 투사순서에 의거하여, 각 픽셀점에 대응하는 갈바노미터의 회전 각도, 각 픽셀점에 대응하는 레이저 방출 정보 및 각 픽셀점에 대응하는 렌즈의 레이저 합성 정보에 따라 각 픽셀점을 지면 투영 영역에 투사하도록 구성된다.
일 실시예에서, 프로세서는 또한,
목표 주행경로 정보와 실시간 환경감지 데이터에 따라 기설정 투영 조건에 부합하는지 여부를 판단하도록 구성되고, 기설정 투영 조건은 향후 기설정 시간 내에 이동 로봇의 주행 방향이 변경되는 것, 이동 로봇의 주행 상태가 정지 상태인 것, 이동 로봇 주변에 보행자가 존재하는 것, 및 이동 로봇이 현재에 운행 상태인 것으로부터 선택되는 적어도 하나의 조건을 포함하며, 판단 결과가 기설정 투영 조건에 부합하는 것일 때, 목표 주행경로 정보에 따라 지면 투영 영역을 결정하도록 구성된다.
일 실시예에서, 상기 프로세서는 또한,
기설정 투영 조건이 이동 로봇이 현재에 운행 상태인 경우, 목표 주행경로 정보에 따라 현재 이동 로봇에 의해 투사된 패턴이 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하고; 반영할 수 있으면, 현재 이동 로봇에 의해 투사된 패턴을 투영될 패턴으로 하고, 반영할 수 없으면, 이동 로봇의 주행 의도에 따라 투영될 패턴을 생성하도록 구성된다.
일 실시예에서, 상기 프로세서는 또한,
실시간 장애물 정보에 의해 이동 로봇 주변에 존재하는 장애물이 이동 장애물인 것으로 지시되면, 목표 주행경로 정보에 따라 현재 이동 로봇에 의해 투사된 패턴이 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하는 단계를 수행하도록 구성된다.
일 실시예에서, 도 21에 도시된 바와 같이, 상기 이동 로봇은 메모리를 더 포함하고, 상기 메모리에는 상기 프로세서에 의해 실행될 수 있는 컴퓨터 판독 가능 명령이 저장되어 있고, 상기 프로세서에 의해 상기 컴퓨터 판독 가능 명령이 실행될 때 다음과 같은 단계가 구현된다.
105 단계: 운행 과정 중 투영될 패턴을 실시간으로 투사하고, 운행 과정 중 노면에 존재하는 장애물 영역을 획득한다.
투영될 패턴은 로봇의 주행 의도를 나타내는 투영될 패턴이며, 상기 투영될 패턴은 곡선 형태의 투영될 패턴, 직선 형태의 투영될 패턴, 영상 형태의 투영될 패턴 등일 수 있고; 상기 투영될 패턴은 로봇 상에 배치된 레이저 장치에 의해 실시간으로 투사될 수 있으며, 예를 들어 로봇 전방의 주행 도로의 노면이나, 로봇 전방의 주행 도로 상에 있는 설비에 투사된다. 일 실시예에서, 투영될 패턴은 로봇의 전진 방향에서 소정 개수의 점을 미리 설정하고 상기 소정 개수의 점을 곡선 또는 직선으로 연결하여 형성한 하나의 연속적인 그래프이다. 다른 실시예에서, 투영될 패턴은 기설정된 개수의 곡선 노드를 베지어 곡선(bezier curve)으로 연결하여 얻은 곡선이다. 여기서, 기설정된 개수는 구체적인 수요에 따라 설정될 수 있으며, 예시적으로, 기설정된 개수는 5개, 7개, 9개, 10개 등으로 설정될 수 있다. 운행 과정에는 로봇이 이동하는 과정, 로봇이 이동 중 장애물을 만나 이동을 중단한 대기 과정, 로봇이 작동된 후 어느 지점에 고정되어 이동하지 않는 과정 등이 포함될 수 있다. 일부 실시예에서, 상기 투영될 패턴은 구체적으로 주행 지시도(diagram)일 수 있다.
장애물 영역은 로봇이 주행하는 과정에서 검측된 장애물 정보를 포함하는 영역으로, 장애물 정보는 정적 장애물 정보와 동적 장애물 정보를 포함하며, 여기서, 정적 장애물 정보는 정적 장애물(예를 들어 음식 배달 로봇의 시나리오에서는 테이블, 의자, 사물함 등과 같은 스스로 움직일 수 없는 장애물)의 위치 정보를 의미하고, 동적 장애물 정보는 동적 장애물(예를 들어 보행자, 다른 로봇 등과 같은 스스로 움직일 수 있는 물체)의 위치 정보를 의미한다.
일 실시예에서, 상기 운행 과정 중 노면에 존재하는 장애물 영역을 획득하는 105 단계는,
운행 과정 중 장애물 정보를 실시간으로 수집하고, 상기 장애물 정보에 대응하는 픽셀 정보를 기설정 투영도에 매핑하는 것을 포함한다.
구체적인 일 구현예에서, 로봇의 운행 과정 중, 로봇 상에 배치된 장애물 검측 장치를 통해 정적 장애물과 동적 장애물에 대한 검측을 수행하여, 각 정적 장애물과 동적 장애물의 실시간 위치 정보, 즉 장애물 정보를 획득할 수 있다. 여기서, 장애물 검측 장치는 레이저 레이더 센서, RGBD(RGB Depth) 카메라, 또는 초음파 센서 등일 수 있다.
일 실시예에서, 기설정 투영도에 장애물 정보를 구성할 때, 각 장애물 정보는 기설정 투영도에 픽셀 정보로 매핑되어야 하고, 즉, 하나의 장애물 정보는 하나의 픽셀 정보와 대응한다. 여기서, 기설정 투영도는 로봇 상에 배치된 투영 디스플레이 인터페이스에 표시될 수 있고, 상기 기설정 투영도에서 각 장애물 정보는 픽셀 정보로 나타낼 수 있으며, 로봇에 의해 장애물 정보가 수집되면 상기 기설정 투영도에 동기화 업데이트된다. 여기서, 투영 디스플레이 인터페이스는 로봇의 전면 또는 후면에 구비된 디스플레이 스크린으로서, 상기 디스플레이 스크린은 터치 스크린 또는 도트 매트릭스 스크린 등일 수 있으며, 이와 같이 상기 투영 디스플레이 인터페이스에 기설정 투영도 및 장애물 정보를 표시할 수 있게 된다.
모든 상기 픽셀 정보가 포함된 투영 영역에서 최소면적 영역을 결정하고, 상기 최소면적 영역을 상기 장애물 영역으로 기록한다.
로봇과 장애물 사이의 인터랙션 과정에서 모든 장애물 정보를 커버해야 하므로, 기설정 투영도에 장애물 정보와 대응하는 픽셀 정보를 매핑한 후, 기설정 형상을 가지면서 모든 픽셀 정보를 모두 포함하는 최소면적 영역을 하나 구획하고, 상기 최소면적 면적을 장애물 정보와 대응하는 장애물 면적으로 기록할 수 있다. 선택적으로, 기설정 형상은 타원형, 원형, 사각형, 불규칙 도형 등의 형상으로 설정될 수 있다. 본 실시예에서, 기설정 형상은 원형으로 설정되며, 따라서 최소면적 영역은 모든 픽셀 정보를 포함하면서 원형 면적 영역이 가장 작은 영역이다. 영역의 면적이 너무 크게 설정되면, 데이터의 중복성이 발생하며, 로봇이 장애물에 접근하기 전에 미리 장애물과 인터랙션을 수행하게 되어 로봇 인터랙션의 정확도가 떨어진다.
일 실시예에서, 상기 투영될 패턴은 초기 투영될 패턴, 및 상이한 시점(時點)에 따른 확대 비율로 생성된 상이한 확대 투영될 패턴을 포함하며, 상기 운행 과정 중 투영될 패턴을 실시간으로 투사하는 단계는,
상기 초기 투영될 패턴을 투사하고, 상기 상이한 시점에 의거하여 이미 생성된 확대 투영될 패턴을 상기 초기 투영될 패턴과 배열시켜 투사하는 것을 포함한다.
본 실시예에서 확대 투영될 패턴은 초기 투영될 패턴에 기초하여 상이한 시점에 따른 확대 비율로 생성된 상이한 확대 투영될 패턴이고, 상기 확대 투영될 패턴의 개수는 2개, 3개 등이 될 수 있으나, 이에 한정되지 않는다. 참고로, 초기 투영될 패턴을 1배 확대하여 첫 번째 확대 투영될 패턴을 얻은 후, 두 번째 확대 투영될 패턴이 첫 번째 확대 투영될 패턴을 1배 확대처리한 것이더라도, 그 본질은 초기 투영될 패턴에 기초하여 2배 확대처리하여 얻은 패턴이다. 따라서, 초기 투영될 패턴, 및 상이한 시점에 따른 확대 비율로 생성된 상이한 확대 투영될 패턴을 획득한 후, 초기 투영될 패턴을 투사하고, 상이한 시점에 의거하여 이미 생성된 확대 투영될 패턴을 초기 투영될 패턴과 배열시켜 투사한다. 여기서, 확대 비율은 구체적인 확대 수요에 따라 선택될 수 있다.
또 다른 실시예에서, 상기 투영될 패턴은 초기 투영될 패턴 및 확대 투영될 패턴으로부터 선택되는 적어도 하나를 포함하며, 상기 확대 투영될 패턴은 상기 초기 투영될 패턴에 기초하여 기설정 확대 비율로 확대처리하여 형성된 것이고, 도 17에 도시된 바와 같이, 운행 과정 중 투영될 패턴을 실시간으로 투사하는 단계는 구체적으로,
상기 초기 투영될 패턴을 기설정 확대 비율에 따라 단계적으로 확대처리하여 상기 확대 투영될 패턴을 형성하고, 운행 과정 중 상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 실시간으로 투사하는 것을 포함한다.
상기 초기 투영될 패턴을 기설정 확대 비율에 따라 단계적으로 확대처리하여 상기 확대 투영될 패턴을 형성하고, 상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 투사하는 것은, 다음과 같은 단계를 포함한다.
107 단계: 초기 투영될 패턴을 획득한다.
투영될 패턴은 초기 투영될 패턴 및 확대 투영될 패턴으로부터 선택되는 적어도 하나를 포함하며, 현재 시점의 투영될 패턴에 초기 투영될 패턴이 나타나지 않는 경우, 후속의 어느 시점에 초기 투영될 패턴이 나타난다 것을 이해할 것이다. 초기 투영될 패턴은 로봇의 메모리에 저장된다.
108 단계: 상기 초기 투영될 패턴을 기설정 확대 비율에 따라 확대처리하여 확대 투영될 패턴을 형성한다.
여기서, 기설정 확대 비율은 구체적인 확대 수요에 따라 설정될 수 있으며, 상기 기설정 확대 비율은 하나의 고정된 값일 수도 있고, 변화 가능한 값일 수도 있다. 참고로, 본 실시예에서는 초기 투영될 패턴에 대한 확대처리는 확대 경계가 있고, 즉, 초기 투영될 패턴을 일정 횟수(3회, 4회 또는 5회 등)만큼 단계적으로 확대한 후 확대처리를 중지한다.
여기서, 1차 확대된 확대 투영될 패턴은 초기 투영될 패턴에 기초하여 확대되고 2차 확대된 확대 투영될 패턴은 1차 확대된 확대 투영될 패턴에 기초하여 확대되는 경우, 상기 기설정 확대 비율은 고정된 값이며, 예를 들어, 기설정 확대 비율은 20%, 30%, 40% 또는 50% 등으로 설정될 수 있다. 예시적으로, 기설정 확대 비율이 20%로 설정되어 있다고 가정하면, 현재 시점에서 초기 투영될 패턴을 20% 확대하여 첫 번째 확대 투영될 패턴을 얻은 후, 다음 시점에서는 초기 투영될 패턴에 기초하여 20% 확대한 첫 번째 확대 투영될 패턴을 다시 20% 확대하여 두 번째 확대 투영될 패턴을 얻는다.
또한, 형성된 확대 투영될 패턴이 모두 초기 투영될 패턴에 기초하여 확대된 것인 경우, 상기 기설정 확대 비율은 변화 가능한 값이며, 예를 들어 기설정 확대 비율은 10%(첫 번째 확대 투영될 패턴이 초기 투영될 패턴에 대한 확대 비율), 15%(두 번째 확대 투영될 패턴이 초기 투영될 패턴에 대한 확대 비율), 20%(세 번째 확대 투영될 패턴이 초기 투영될 패턴에 대한 확대 비율), 및 25%(네 번째 확대 투영될 패턴이 초기 투영될 패턴에 대한 확대 비율)로 설정될 수 있다.
109 단계: 상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 시계열로 표시한다.
상기 확대 투영될 패턴은 1개, 2개 또는 그 이상을 포함할 수 있다. 상기 확대 투영될 패턴이 1개인 경우, 초기 투영될 패턴 및 확대 투영될 패턴으로부터 선택되는 적어도 하나를 시간순으로 투사(즉, 시계열로 표시)하고, 한 시점에서 초기 투영될 패턴 또는 확대 투영될 패턴만 표시하거나, 각 시점에서 초기 투영될 패턴 및 확대 투영될 패턴을 함께 표시할 수 있다. 상기 확대 투영될 패턴이 2개인 경우, 초기 투영될 패턴 및 확대 투영될 패턴으로부터 선택되는 적어도 하나를 시계열로 표시한다. 한 시점에서 초기 투영될 패턴만 표시하고, 다음 시점에서는 어느 하나의 확대 투영될 패턴을 표시한 후, 그 다음 시점에서는 다른 확대 투영될 패턴을 표시하는 순서에 따라 순차적으로 순환할 수 있다. 또한, 한 시점에서 초기 투영될 패턴을 표시하고, 다음 시점에서는 초기 투영될 패턴과 어느 하나의 확대 투영될 패턴을 표시한 후, 그 다음 시점에서는 초기 투영될 패턴과 2개의 확대 투영될 패턴을 표시하는 순서에 따라 순차적으로 순환할 수 있다.
상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 시계열로 표시하는 것은, 다양한 표시 방식이 있을 수 있으며, 이하에서 몇 가지 표시 방식을 예시적으로 설명하지만, 본 출원은 이하의 실시예에 의해 한정되지 않는다. 단계적으로 3차 확대되는 표시 방식을 예시로 설명한다. 1차 확대된 후의 투영될 패턴은 제1 확대 투영될 패턴으로 이해될 수 있고, 2차 확대된 후의 투영될 패턴은 제2 확대 투영될 패턴으로 이해될 수 있으며, 3차 확대된 후의 투영될 패턴은 제3 확대 투영될 패턴으로 이해될 수 있다.
투영될 패턴을 동적으로 표시하는 예시 1로서, 제1 시점에서 초기 투영될 패턴을 표시하고, 제2 시점에서 1차 확대된 후의 확대 투영될 패턴을 표시하며, 제3 시점에서 2차 확대된 후의 확대 투영될 패턴을 표시하고, 제4 시점에서 3차 확대된 후의 확대 투영될 패턴을 표시한다. 제5 시점 및 후속의 시점에서는 다시 상기 네 시점에 표시된 초기 투영될 패턴 또는 확대 투영될 패턴을 순차적으로 순환하며, 장애물을 만나거나 로봇의 이동 방향이 변경되어 투영될 패턴의 변형이 발생할 때까지 지속된다.
투영될 패턴을 동적으로 표시하는 예시 2로서, 제1 시점부터 제4 시점까지의 표시는 예시 1과 동일하며, 제5 시점 및 후속의 시점에서는 장애물을 만나거나 로봇의 이동 방향이 변경되어 투영될 패턴의 변형이 발생할 때까지 제4 시점의 확대 투영될 패턴을 계속 표시한다.
투영될 패턴을 동적으로 표시하는 예시 3으로서, 제1 시점에서 초기 투영될 패턴을 표시하고, 제2 시점에서 초기 투영될 패턴과 1차 확대된 후의 확대 투영될 패턴을 표시하며, 제3 시점에서 초기 투영될 패턴, 1차 확대된 후의 확대 투영될 패턴, 및 2차 확대된 후의 확대 투영될 패턴을 표시하고, 제4 시점에서 초기 투영될 패턴, 1차 확대된 후의 확대 투영될 패턴, 2차 확대된 후의 확대 투영될 패턴, 및 3차 확대된 후의 확대 투영될 패턴을 표시하며, 표시될 때 초기 투영될 패턴과 확대 투영될 패턴의 순서는 제한되지 않고, 초기 투영될 패턴을 먼저 표시한 후에 확대 투영될 패턴을 표시할 수도 있고, 확대 투영될 패턴을 먼저 표시한 후에 초기 투영될 패턴을 표시할 수도 있다. 제5 시점 및 후속의 시점에서는 다시 상기 네 시점에 표시된 초기 투영될 패턴, 또는 초기 투영될 패턴과 각 확대 투영될 패턴을 순차적으로 순환하며, 장애물을 만나거나 로봇의 이동 방향이 변경되어 투영될 패턴의 변형이 발생할 때까지 지속된다.
투영될 패턴을 동적으로 표시하는 예시 4로서, 제1 시점부터 제4 시점까지의 표시는 예시 3과 동일하며, 제5 시점 및 후속의 시점에서는 장애물을 만나거나 로봇의 이동 방향이 변경되어 투영될 패턴의 변형이 발생할 때까지 제4 시점의 초기 투영될 패턴과 각 확대 투영될 패턴을 계속 표시한다.
106 단계: 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는지 여부를 검측하고, 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는 경우, 상기 중첩 영역에 따라 상기 투영될 패턴을 조정함으로써 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 없도록 한다.
상술한 설명과 같이, 투영될 패턴이 초기 투영될 패턴 및 확대 투영될 패턴을 포함하므로, 투사된 초기 투영될 패턴 또는 확대 투영될 패턴과 장애물 영역이 중첩되면, 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하는 것으로 판정할 수 있다.
예를 들어, 로봇과 장애물 영역 사이의 거리가 상대적으로 먼 경우, 초기 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하지 않을 수 있으나, 초기 투영될 패턴이 확대된 후, 즉 확대 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재할 수 있고, 예를 들어 확대 투영될 패턴과 장애물 영역이 교차하는 영역이 생기며, 상기 교차 영역이 중첩 영역이다. 로봇과 장애물 영역 사이의 거리가 상대적으로 가까운 경우, 초기 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재할 수 있으므로, 본 실시예에서는 초기 투영될 패턴 또는 확대 투영될 패턴과 장애물 영역이 중첩되는 것으로 검측되면, 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하는 것으로 판정한다.
예시적으로, 도 18에 도시된 바와 같이, B1은 초기 투영될 패턴, B2는 1차 확대된 후의 확대 투영될 패턴, B3은 2차 확대된 후의 확대 투영될 패턴을 나타낸다. 이때, 초기 투영될 패턴 및 확대 투영될 패턴은 모두 장애물 영역과 중첩되지 않으므로, 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하지 않는 것으로 판정할 수 있다.
일부 실시예에서, 상기 초기 투영될 패턴은 구체적으로 초기 지시도(diagram)일 수 있고, 상기 확대 투영될 패턴은 구체적으로 확대 지시도일 수 있다.
상술한 설명과 같이, 장애물 영역을 기설정 투영도에 매핑하고, 따라서 로봇이 주행 과정 중에 실시간으로 투사되는 투영될 패턴도 기설정 투영도에 매핑되어야 하는 경우, 로봇이 현재 위치한 실시간 위치를 기설정 투영도에 매핑하고 장애물 영역의 위치 정보도 기설정 투영도에 매핑함으로써, 로봇이 현재 위치한 실시간 위치에서 투사한 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하는지 여부를 기설정 투영도에서 시뮬레이션할 수 있다. 여기서, 로봇이 현재 위치한 실시간 위치와 장애물 영역의 실제 위치를 기설정 투영도에 표시할 수도 있고; 또는 로봇이 현재 위치한 실시간 위치와 장애물 영역의 실제 위치를 일정 비율에 따라 매핑한 후 기설정 투영도에 표시할 수도 있으며, 이에 한정되지는 않는다.
투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하는 경우, 본 실시예에서는 중첩 영역에 따라 투영될 패턴을 조정함으로써 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하지 않도록 하여, 로봇과 사람 간의 인터랙션을 실현한다.
일 실시예에서, 106 단계에서 상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 것은, 다음과 같은 단계를 포함한다.
상기 중첩 영역에서 중첩 투영될 패턴과 상기 장애물 영역의 2개의 곡선 교차점, 즉 중첩 투영될 패턴의 곡선과 장애물 영역의 곡선의 교차점을 결정하는 것을 포함하고, 상기 중첩 투영될 패턴은 상기 초기 투영될 패턴 또는 상기 확대 투영될 패턴이다. 곡선은 직선과 직선이 아닌 선을 통칭하는 것이다. 예를 들어, 직선이 아닌 선은 물결선, 호도(radian)를 갖는 선 등일 수 있다. 초기 투영될 패턴은 직선 선분 또는 비직선 선분으로 구성될 수도 있고, 직선 선분과 비직선 선분의 조합으로 구성될 수도 있다.
일부 실시예에서, 상기 중첩 투영될 패턴은 구체적으로 중첩 지시도(diagram)일 수 있다. 위의 설명에 따르면, 본 출원의 장애물 영역은 원형 장애물 영역, 즉 모든 장애물 정보를 포함하는 최소면적의 원형 영역(도 19의 A1 참조)이다. 따라서, 중첩 투영될 패턴(도 19의 L5)과 장애물 영역 사이에 중첩 영역이 존재할 때, 중첩 영역에서 중첩 투영될 패턴과 장애물 영역의 2개의 곡선 교차점(도 19에 도시된 곡선 교차점(1)과 다른 곡선 교차점(2))을 결정하고, 즉 중첩 투영될 패턴과 원형 장애물 영역의 경계의 두 교차점을 결정한다.
상기 중첩 투영될 패턴에서 2개의 상기 곡선 교차점 사이에 있는 선분에 대해 삭제처리를 하고, 삭제처리를 거친 상기 중첩 투영될 패턴에 있는 2개의 나머지 곡선 선분을 얻는다.
상술한 설명과 같이, 투영될 패턴은 기설정 개수의 곡선 노드로 구성되어 있으므로, 상기 중첩 영역에서 중첩 투영될 패턴과 상기 장애물 영역의 2개의 곡선 교차점을 결정한 후, 중첩 투영될 패턴에서 2개의 곡선 교차점 사이에 있는 선분(도 19와 같이 중첩 투영될 패턴(L5)에서 장애물 영역(A1)의 내부에 위치한 점선 선분)을 삭제하고, 즉 2개의 곡선 교차점 사이에 있으면서 중첩 투영될 패턴에 속하는 모든 곡선 노드(도 19와 같이 중첩 투영될 패턴(L5)에서 장애물 영역(A1)의 내부에 위치한 점선 선분 상의 모든 노드)를 삭제하고, 이에 따라, 하나의 곡선 교차점을 종료 끝점으로 하는 나머지 곡선 선분(도 19에서 L1)과 다른 곡선 교차점을 시작 끝점으로 하는 또 하나의 나머지 곡선 선분(도 19에서 L2)을 얻는다.
2개의 상기 곡선 교차점의 연결선에 대응하는 수직 이등분선 교차점을 결정한다.
예시적으로, 도 19에 도시된 L3은 2개의 곡선 교차점 사이의 연결선, 즉 2개의 곡선 교차점 사이의 선분이다. 도 19에서 L4는 2개의 상기 곡선 교차점의 연결선에 대응하는 수직 이등분선이다. 수직 이등분선 교차점(도 19의 교차점(4))은 2개의 상기 곡선 교차점의 연결선에 대응하는 수직 이등분선의 교차점이다.
상기 수직 이등분선 교차점과 경계 교차점 사이의 수직거리를 검측하고, 상기 수직거리를 기설정 거리 임계값과 비교하며, 상기 경계 교차점은 상기 수직 이등분선과 상기 장애물 영역의 가장자리의 교차점이고, 상기 경계 교차점은 상기 곡선 중첩 영역 내에 위치한다.
여기서, 경계 교차점(도 19의 3)은 수직 이등분선과 장애물 영역의 가장자리의 교차점이고, 상기 경계 교차점은 중첩 영역(도 19의 A2) 내에 위치하며; 기설정 거리 임계값은 로봇이 실시간으로 투사하는 투영될 패턴의 시각적인 효과에 따라 설정될 수 있으며, 예를 들어 기설정 거리 임계값은 장애물 영역의 반경으로 설정될 수 있다(상술한 설명과 같이, 본 출원에서 장애물 영역이 원형 영역으로 선택됨).
상기 수직거리가 기설정 거리 임계값 이하인 경우, 2개의 상기 나머지 곡선 선분, 상기 곡선 교차점 및 상기 경계 교차점에 따라 상기 투영될 패턴을 조정한다.
구체적으로, 상기 수직거리와 기설정 거리 임계값을 비교한 결과, 수직거리가 기설정 거리 임계값 이하이면, 2개의 곡선 교차점과 경계 교차점을 통해 2개의 나머지 곡선 선분을 연결하며, 2개의 곡선 교차점과 경계 교차점 사이도 상응하게 곡선으로 연결함으로써(이 곡선의 호도는 장애물 영역에 따라 결정될 수 있고, 즉 최종적으로 2개의 곡선 교차점과 경계 교차점 사이를 연결하는 곡선도 장애물 영역과 중첩되지 않도록 한다), 조정된 후의 투영될 패턴(도 19의 L6)을 얻고; 수직거리가 기설정 거리 임계값보다 크면, 상기 투영될 패턴의 투사를 중지한다.
다른 실시예에서, 106 단계에서 상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 것은, 상기 장애물 영역과 중첩되는 영역을 갖는 초기 투영될 패턴 또는 확대 투영될 패턴을 중첩 투영될 패턴으로 기록하며, 상기 중첩 투영될 패턴은 상기 장애물 영역과 중첩되는 중첩 영역, 및 상기 장애물 영역과 중첩되지 않는 나머지 영역을 포함하는 것;
상기 중첩 투영될 패턴의 중첩 영역을 삭제하거나 상기 중첩 투영될 패턴을 기설정 비율에 따라 축소하여 상기 중첩 투영될 패턴이 상기 장애물 영역의 가장자리에 접하도록 함으로써 조정을 거친 투영될 패턴을 얻는 것을 포함한다.
일 실시예에서, 중첩 투영될 패턴의 중첩 영역을 삭제함으로써 조정을 거친 투영될 패턴을 얻는다. 예를 들어, 투영될 패턴은 제1 시점에서 초기 투영될 패턴만 표시되고, 제2 시점에서 제1 확대 투영될 패턴만 표시되며, 제3 시점에서 제2 확대 투영될 패턴이 표시되고, 제4 시점 및 후속의 시점에서 계속 제2 확대 투영될 패턴이 표시된다. 장애물과 만나는 경우, 제2 확대 투영될 패턴은 중첩 투영될 패턴이 되며, 제2 확대 투영될 패턴의 중첩 영역을 삭제함으로써 조정을 거친 투영될 패턴을 얻고, 후속 시점에서는 조정을 거친 투영될 패턴을 표시한다.
일 실시예에서, 상기 중첩 투영될 패턴을 기설정 비율에 따라 축소하여 상기 중첩 투영될 패턴이 상기 장애물 영역의 가장자리에 접하도록 함으로써 조정을 거친 투영될 패턴을 얻는다. 예를 들어, 투영될 패턴은 제1 시점에서 초기 투영될 패턴만 표시되고, 제2 시점에서 제1 확대 투영될 패턴만 표시되며, 제3 시점에서 제2 확대 투영될 패턴이 표시되고, 후속의 시점에서 상술한 순서로 순환 표시될 수 있다. 장애물과 만나는 경우, 제2 확대 투영될 패턴, 제1 확대 투영될 패턴 또는 초기 투영될 패턴은 중첩 투영될 패턴이 될 수 있으며, 중첩 투영될 패턴을 기설정 비율에 따라 축소하여 중첩 투영될 패턴이 장애물 영역의 가장자리에 접하도록 한다. 상기 축소하는 기설정 비율은 변수일 수 있고, 즉 상이한 시점의 중첩 투영될 패턴에 대응하는 기설정 비율은 상이하다. 기설정 비율은 중첩 투영될 패턴과 장애물 영역이 겹쳐지는 정도에 따라 산출된다.
일 실시예에서, 도 20에 도시된 바와 같이, 도 20은 이동 로봇이 이동 과정 중에 장애물 영역과의 중첩 영역이 존재하는 것을 제시하는 도면이다. 장애물 영역(A1)은 로봇의 주행 방향의 전방에 있으며, 상술한 설명과 같이, 로봇이 운행 과정 중에 실시간으로 투사하는 투영될 패턴은 초기 투영될 패턴과 초기 투영될 패턴을 단계적으로 확대처리하여 얻은 확대 투영될 패턴을 포함하며, 운행 과정 중에 초기 투영될 패턴과 확대 투영될 패턴을 동적으로 표시하고, 따라서 초기 투영될 패턴 또는 임의의 확대 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재한다면, 로봇이 실시간으로 투사하는 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하는 것으로 판정한다. 따라서, 도 20에 도시된 바와 같이, 로봇이 투사하는 투영 패턴에서, 확대 투영될 패턴(B4)과, 확대 투영될 패턴의 전에 투사된 다른 확대 투영될 패턴 또는 초기 투영될 패턴은, 모두 장애물 영역(A1)과 중첩되는 영역이 없고; 확대 투영될 패턴(B4)의 이후의 확대 투영될 패턴(B5)은 장애물 영역(A1)과 중첩되는 영역이 존재하므로, 로봇이 운행 과정 중에 실시간으로 투사하는 투영될 패턴과 장애물 영역 사이에 중첩 영역이 존재하는 것으로 판정할 수 있다. 따라서, 확대 투영될 패턴(B5)과 장애물 영역(A1) 사이의 중첩 영역에 따라 확대 투영될 패턴(B5)을 조정함으로써, 조정을 거친 확대 투영될 패턴(B5)과 장애물 영역(A1) 사이에 중첩 영역이 없도록 한다.
일 실시예에서, 상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 106 단계 이후에, 상기 프로세서에 의해 상기 컴퓨터 판독 가능 명령이 실행될 때 다음과 같은 단계가 더 구현된다.
상기 로봇의 현재 위치 정보를 획득하고, 상기 현재 위치 정보에 따라 상기 로봇과 상기 장애물 영역 사이의 위치 거리를 결정한다.
현재 위치 정보란 로봇이 현재 위치하고 있는 실시간 위치 정보를 의미하며, 또한, 로봇의 현재 위치 정보를 실시간으로 획득한 후, 현재 위치 정보에 따라 로봇과 장애물 영역 사이의 위치 거리를 결정한다.
상기 위치 거리에 따라, 조정을 거친 상기 투영될 패턴의 색상 파라미터를 결정하고, 상기 곡선 색상 파라미터에 따라 조정을 거친 상기 투영될 패턴을 투사한다.
색상 파라미터에는 색상의 유형 및 색상의 깊이 등이 포함될 수 있다. 로봇과 장애물 사이의 거리가 상대적으로 먼 경우, 투영될 패턴은 연한 색상으로 표시될 수 있으며, 로봇과 장애물 사이의 거리가 점차 짧아짐에 따라 투영될 패턴의 표시 색상은 점점 짙어질 수 있다. 예를 들어, 로봇이 장애물 영역으로부터 멀리 떨어진 경우(예를 들어, 장애물 영역에서 1km 떨어진 경우), 상기 색상 파라미터는 깊이가 상대적으로 얕은 연청색의 레이저 빔을 선택할 수 있고; 로봇이 장애물 영역으로부터 가까운 경우(예를 들어, 장애물 영역에서 100m 떨어진 경우), 상기 색상 파라미터는 깊이가 상대적으로 깊은 진홍색의 레이저 빔을 선택할 수 있다.
구체적으로, 상기 로봇의 현재 위치 정보를 획득하고, 상기 현재 위치 정보에 따라 상기 로봇과 상기 장애물 영역 사이의 위치 거리를 결정한 후에, 조정을 거친 상기 투영될 패턴의 색상 파라미터를 상기 위치 거리에 따라 결정하고, 상기 색상 파라미터에 따라 조정을 거친 상기 투영될 패턴을 투사하며, 즉 조정을 거친 상기 투영될 패턴을 지면에 투사하여 사람과 인터랙션을 수행한다.
본 실시예에서, 투영될 패턴과 장애물 영역 사이의 곡선 중첩 영역을 결정함으로써, 곡선 중첩 영역에 따라 투영될 패턴을 조정하여, 로봇에 의해 송출된 투영될 패턴이 장애물 영역에 따라 동적으로 변형되고, 상기 조정을 거친 투영될 패턴은 장애물 영역과 겹치지 않으므로, 로봇과 장애물 간의 정보 인터랙션이 이루어져 로봇과 사람 사이의 정보 인터랙션의 효율성과 정보 인터랙션의 정확도를 향상시킨다.
일 실시예에서, 상기 초기 투영될 패턴 또는 상기 확대 투영될 패턴과 상기 장애물 영역이 중첩되는 경우, 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는 것으로 판정된 이후에, 상기 프로세서에 의해 상기 컴퓨터 판독 가능 명령이 실행될 때 다음과 같은 단계가 더 구현된다.
상기 초기 투영될 패턴 또는 상기 확대 투영될 패턴과 상기 장애물 영역이 중첩되어 로봇의 중첩 위치 정보를 획득하고, 상기 중첩 위치 정보에 따라 로봇과 장애물 영역 사이의 위치 거리를 결정한다.
상기 위치 거리에 따라 상기 중첩 영역을 업데이트한다.
중첩 위치 정보는 초기 투영될 패턴 또는 상기 확대 투영될 패턴과 상기 장애물 영역이 중첩되는 경우에 로봇이 현재 위치한 실시간 위치 정보를 의미한다. 또한, 상술한 설명과 같이, 로봇이 실시간으로 투사하는 투영될 패턴은 초기 투영될 패턴으로 시작하여 단계적으로 확대된 것이고, 즉 로봇이 실시간으로 투사하는 투영될 패턴은 초기 투영될 패턴과 확대 투영될 패턴을 모두 포함하며 실시간으로 순환 투사되고, 각각의 투영될 패턴(초기 투영될 패턴과 확대 투영될 패턴, 또는 상이한 확대 투영될 패턴) 사이에 일정 간격이 존재하기 때문에, 로봇이 투사하는 투영될 패턴과 장애물 영역이 중첩되는 부분은 로봇이 위치한 위치에 따라 상이할 수 있으므로, 중첩 영역은 상이한 위치에 따라 업데이트되어야 한다.
또한, 초기 투영될 패턴 또는 확대 투영될 패턴이 장애물 영역과 중첩되는 경우, 로봇의 현재 위치(즉, 중첩 위치 정보)를 획득하고, 상기 중첩 위치 정보에 따라 로봇과 장애물 영역 간의 위치 거리를 결정하며, 로봇의 상이한 위치에 따라 장애물 영역과의 중첩 영역이 상이하고, 예를 들어 동일한 투영될 패턴(초기 투영될 패턴 또는 확대 투영될 패턴)의 경우, 로봇과 장애물 영역 간의 위치 거리가 가까울수록 투영될 패턴과 장애물 영역 간의 중첩 영역이 커질 수 있으므로, 중첩 영역을 실시간으로 업데이트할 수 있고, 업데이트된 중첩 영역에 따라 투영될 패턴을 조정할 수 있어, 로봇과 사람 간의 인터랙션이 더욱 유연하고 정확해진다.
일 실시예에서, 상기 초기 투영될 패턴 또는 상기 확대 투영될 패턴과 상기 장애물 영역이 중첩되는 경우, 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는 것으로 판정된 이후에, 상기 프로세서에 의해 상기 컴퓨터 판독 가능 명령이 실행될 때 다음과 같은 단계가 더 구현된다.
상기 장애물 영역과의 중첩 영역을 갖는 확대 투영될 패턴의 확대 배율을 획득한다.
상기 확대 배율에 따라 상기 중첩 영역의 영역 크기를 결정한다.
확대 배율은 확대 투영될 패턴이 초기 투영될 패턴에 대한 확대 배율을 의미하며, 예시적으로, 기설정 확대 배율이 20%라고 가정하면, 첫 번째 확대 투영될 패턴이 초기 투영될 패턴에 대한 확대 배율은 20%이고, 두 번째 확대 투영될 패턴이 초기 투영될 패턴에 대한 확대 배율은 40%이다. 다만, 확대 배율이 상이한 경우에는 대응하는 확대 투영될 패턴과 장애물 영역 간의 중첩 영역이 상이하기 때문에, 본 실시예에서는 확대 배율에 따라 중첩 영역의 영역 크기를 결정할 수 있어, 상이한 투영될 패턴(초기 투영될 패턴 또는 확대 투영될 패턴)과 장애물 영역이 중첩되는 경우, 상기 확대 배율에 따라 중첩 영역의 영역 크기를 조정함으로써, 중첩 영역을 실시간으로 업데이트할 수 있다. 이와 같이 업데이트된 중첩 영역에 따라 투영될 패턴을 조절하므로, 로봇과 사람 간의 인터랙션이 더욱 유연하고 정확해진다.
일 실시예에서, 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장매체를 제공하며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상술한 어느 하나의 실시예에 따른 방법의 단계가 구현된다.
상술한 실시예에 따른 방법에서의 전부 또는 일부 프로세스는 컴퓨터 프로그램을 통해 관련 하드웨어를 지시하는 것으로 이루어질 수 있고, 상기 컴퓨터 프로그램은 비휘발성 컴퓨터 판독 가능 저장매체에 저장될 수 있으며, 상기 컴퓨터 프로그램이 실행될 경우, 상술한 어느 하나의 실시예에 따른 방법의 프로세스를 포함할 수 있음을 당업자는 이해할 것이다. 여기서, 본 출원에 제공된 각 실시예에서 사용된 메모리, 스토리지, 데이터베이스 또는 기타 매체에 대한 모든 인용은 모두 비휘발성 및/또는 휘발성 메모리를 포함할 수 있다. 비휘발성 메모리는 판독 전용 메모리(Read-Only Memory, ROM), 자기 테이프, 플로피 디스크, 플래시 메모리 또는 광학 메모리 등을 포함할 수 있다. 휘발성 메모리는 랜덤 액세스 메모리(Random Access Memory, RAM) 또는 외부 캐시 메모리를 포함할 수 있다. 예시로서, RAM은 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM) 또는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM) 등과 같은 다양한 형태일 수 있으나, 이에 제한되지 않는다.
상기 실시예의 각 기술적 구성은 임의로 조합될 수 있으며, 설명의 간결함을 위해 상기 실시예의 각 기술적 구성에 대한 모든 가능한 조합을 설명하지 않았지만, 이러한 기술적 구성의 조합에 모순이 존재하지 않는 한, 모두 본 명세서의 범위로 간주되어야 한다.
전술한 실시예는 단지 본 출원의 특정 실시예를 나타내며, 그에 대한 설명은 보다 구체적이고 상세하게 기술되어 있지만, 본 발명의 범위를 제한하는 것으로 의도되지 않는다. 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자는 본 출원의 개념을 벗어나지 않고 여러 가지 변형 및 개선을 행할 수 있으며, 이들은 모두 본 출원의 보호 범위 내에 속한다. 따라서, 본 출원의 보호 범위는 첨부된 특허청구 범위에 의해 결정된다.

Claims (10)

  1. 투영 장치와 환경감지 센서를 구비한 이동 로봇의 인터랙션 방법으로서,
    상기 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 상기 환경감지 센서에 의해 수집된 실시간 장애물 정보와 상기 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한 실시간 환경감지 데이터를 획득하는 단계;
    상기 실시간 장애물 정보와 상기 지도 데이터 정보에 기초하여 상기 이동 로봇의 목표 주행경로 정보를 획득하고, 상기 목표 주행경로 정보와 상기 실시간 지시 정보에 따라 지면 투영 영역을 결정하는 단계;
    상기 이동 로봇의 주행 의도를 지시하기 위한 투영될 패턴을 획득하고, 상기 투영될 패턴 및 상기 지면 투영 영역에 따라 상기 투영될 패턴에 대응하는 투영 파라미터를 결정하는 단계;
    상기 투영 파라미터에 따라 상기 투영 장치를 제어함으로써 상기 투영될 패턴을 상기 지면 투영 영역에 투사하는 단계를 포함하는, 인터랙션 방법.
  2. 제1항에 있어서,
    상기 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 상기 환경감지 센서에 의해 수집된 실시간 환경감지 데이터를 획득하는 단계 이전에,
    상기 이동 로봇이 위치한 공간의 환경이 기설정 환경 조건을 만족하는 상황에서 상기 환경감지 센서에 의해 수집된 과거 환경감지 데이터를 획득하는 단계;
    상기 과거 환경감지 데이터에 따라 상기 이동 로봇이 위치한 공간의 공간 좌표 정보를 결정하고, 상기 공간 좌표 정보에 따라 상기 공간의 지도를 생성하는 단계;
    상기 지도의 데이터 정보를 상기 지도 데이터 정보로 하는 단계를 더 포함하고; 및/또는
    상기 환경감지 센서는 레이더 장치 및 카메라 장치를 포함하고, 상기 환경감지 센서에 의해 수집된 실시간 환경감지 데이터를 획득하는 단계는,
    상기 레이더 장치에 의해 수집된 장애물과 상기 이동 로봇의 실시간 거리 정보를 획득하는 단계;
    상기 카메라 장치에 의해 수집된 실시간 장애물 식별 정보, 상기 이동 로봇 주변 노면의 노면 형상 정보 및 상기 이동 로봇 주변 노면의 실시간 장애물 분포 정보를 획득하는 단계;
    상기 실시간 장애물 식별 정보와 상기 실시간 거리 정보를 상기 실시간 장애물 정보로 하고, 상기 노면 형상 정보와 상기 실시간 장애물 분포 정보를 상기 실시간 지시 정보로 하는 단계를 포함하고; 및/또는
    상기 실시간 장애물 정보와 지도 데이터 정보에 기초하여 상기 이동 로봇의 목표 주행경로 정보를 획득하는 단계는,
    상기 지도 데이터 정보와 상기 실시간 장애물 정보에 따라 상기 이동 로봇의 실시간 위치와 장애물의 위치를 결정하는 단계;
    상기 이동 로봇의 목표 도착점 위치를 획득하고, 상기 실시간 위치와 상기 장애물의 위치에 기초하여 상기 실시간 위치에서 상기 목표 도착점 위치까지의 최단 경로 정보를 결정하며, 상기 최단 경로 정보를 상기 이동 로봇의 목표 주행경로 정보로 하는 단계를 포함하는 것인, 인터랙션 방법.
  3. 제1항에 있어서,
    상기 투영될 패턴 및 상기 지면 투영 영역에 따라 상기 투영될 패턴에 대응하는 투영 파라미터를 결정하는 단계는,
    상기 투영될 패턴의 각 픽셀점에 대해, 상기 지면 투영 영역에 따라 상기 픽셀점에 대응하는 투사각도, 상기 픽셀점에 대응하는 투사시간, 및 상기 픽셀점에 대응하는 투사색상을 결정하는 단계;
    각 상기 픽셀점에 대응하는 투사각도, 각 상기 픽셀점에 대응하는 투사시간, 및 각 상기 픽셀점에 대응하는 투사색상을 상기 투영될 패턴에 대응하는 투영 파라미터로 하는 단계를 포함하며,
    상기 투영 장치는 갈바노미터, 가시광 레이저기 및 렌즈를 포함하고,
    상기 투영 파라미터에 따라 상기 투영 장치를 제어함으로써 상기 투영될 패턴을 상기 지면 투영 영역에 투사하는 단계는,
    각 상기 픽셀점에 대응하는 투사각도에 따라 각 상기 픽셀점에 대응하는 상기 갈바노미터의 회전 각도를 결정하고, 각 상기 픽셀점에 대응하는 투사색상에 따라 각 상기 픽셀점에 대응하는 상기 가시광 레이저기의 레이저 방출 정보 및 상기 렌즈의 레이저 합성 정보를 결정하는 단계;
    각 상기 픽셀점에 대응하는 투사시간에 따라 각 상기 픽셀점의 투사순서를 결정하는 단계;
    각 상기 픽셀점의 투사순서에 의거하여, 각 상기 픽셀점에 대응하는 상기 갈바노미터의 회전 각도, 각 상기 픽셀점에 대응하는 상기 레이저 방출 정보 및 각 상기 픽셀점에 대응하는 상기 렌즈의 레이저 합성 정보에 따라 상기 투영 장치를 조정함으로써 상기 투영될 패턴을 상기 지면 투영 영역에 투사하는 단계를 포함하는 것인, 인터랙션 방법.
  4. 제1항에 있어서,
    상기 목표 주행경로 정보와 상기 실시간 지시 정보에 따라 지면 투영 영역을 결정하는 단계 이전에,
    상기 목표 주행경로 정보와 상기 실시간 환경감지 데이터에 따라 기설정 투영 조건에 부합하는지 여부를 판단하는 단계를 더 포함하되,
    상기 목표 주행경로 정보에 따라 지면 투영 영역을 결정하는 단계는,
    판단 결과가 기설정 투영 조건에 부합하는 것일 때, 상기 목표 주행경로 정보에 따라 지면 투영 영역을 결정하는 단계를 포함하는 것인, 인터랙션 방법.
  5. 제4항에 있어서,
    상기 기설정 투영 조건은, 향후 기설정 시간 내에 상기 이동 로봇의 주행 방향이 변경되는 것, 상기 이동 로봇의 주행 상태가 정지 상태인 것, 상기 이동 로봇 주변에 보행자가 존재하는 것, 및 상기 이동 로봇이 현재에 운행 상태인 것으로부터 선택되는 적어도 하나의 조건을 포함하고,
    상기 기설정 투영 조건은 상기 이동 로봇이 현재에 운행 상태인 경우,
    상기 투영될 패턴 정보를 획득하는 단계는,
    상기 목표 주행경로 정보에 따라, 현재 상기 이동 로봇에 의해 투사된 패턴이 상기 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하는 단계;
    반영할 수 있으면, 현재 상기 이동 로봇에 의해 투사된 패턴을 상기 투영될 패턴으로 하는 단계;
    반영할 수 없으면, 상기 이동 로봇의 주행 의도에 따라 상기 투영될 패턴을 생성하는 단계를 포함하며,
    상기 목표 주행경로 정보에 따라, 현재 상기 이동 로봇에 의해 투사된 패턴이 상기 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하는 단계는,
    상기 실시간 장애물 정보에 의해 상기 이동 로봇 주변에 존재하는 장애물이 이동 장애물인 것으로 지시되면, 상기 목표 주행경로 정보에 따라 현재 상기 이동 로봇에 의해 투사된 패턴이 상기 이동 로봇의 주행 의도를 반영할 수 있는지 여부를 판단하는 것을 수행하는 단계를 포함하는 것인, 인터랙션 방법.
  6. 제1항에 있어서,
    상기 투영 파라미터에 따라 상기 투영 장치를 제어함으로써 상기 투영될 패턴을 상기 지면 투영 영역에 투사하는 단계 이후에,
    운행 과정 중 투영될 패턴을 실시간으로 투사하고, 운행 과정 중 노면에 존재하는 장애물 영역을 획득하는 단계;
    상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는지 여부를 검측하고, 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 존재하는 경우, 상기 중첩 영역에 따라 상기 투영될 패턴을 조정함으로써 상기 투영될 패턴과 상기 장애물 영역 사이에 중첩 영역이 없도록 하는 단계를 더 포함하는, 인터랙션 방법.
  7. 제6항에 있어서,
    상기 운행 과정 중 노면에 존재하는 장애물 영역을 획득하는 단계는,
    운행 과정 중 장애물 정보를 실시간으로 수집하고, 상기 장애물 정보에 대응하는 픽셀 정보를 기설정 투영도에 매핑하는 단계;
    모든 상기 픽셀 정보가 포함된 투영 영역에서 최소면적 영역을 결정하고, 상기 최소면적 영역을 상기 장애물 영역으로 기록하는 단계를 포함하고; 및/또는
    상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 단계 이후에,
    로봇의 현재 위치 정보를 획득하고, 상기 현재 위치 정보에 따라 상기 로봇과 상기 장애물 영역 사이의 위치 거리를 결정하는 단계;
    상기 위치 거리에 따라, 조정을 거친 상기 투영될 패턴의 색상 파라미터를 결정하고, 상기 색상 파라미터에 따라 조정을 거친 상기 투영될 패턴을 투사하는 단계를 더 포함하는 것인, 인터랙션 방법.
  8. 제6항에 있어서,
    상기 투영될 패턴은 초기 투영될 패턴, 및 상이한 시점(時點)에 따른 확대 비율로 생성된 상이한 확대 투영될 패턴을 포함하며,
    상기 운행 과정 중 투영될 패턴을 실시간으로 투사하는 단계는,
    상기 초기 투영될 패턴을 투사하고, 상기 상이한 시점에 의거하여 이미 생성된 확대 투영될 패턴을 상기 초기 투영될 패턴과 배열시켜 투사하는 단계를 포함하고; 또는
    상기 투영될 패턴은 초기 투영될 패턴 및 확대 투영될 패턴으로부터 선택되는 적어도 하나를 포함하며, 상기 확대 투영될 패턴은 상기 초기 투영될 패턴에 기초하여 기설정 확대 비율로 확대처리하여 형성된 것이고,
    상기 운행 과정 중 투영될 패턴을 실시간으로 투사하는 단계는,
    운행 과정 중 상기 초기 투영될 패턴 및 상기 확대 투영될 패턴으로부터 선택되는 적어도 하나를 실시간으로 투사하는 단계를 포함하는 것인, 인터랙션 방법.
  9. 제8항에 있어서,
    상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 단계는,
    상기 중첩 영역에서 상기 초기 투영될 패턴 또는 상기 확대 투영될 패턴인 중첩 투영될 패턴과 상기 장애물 영역의 2개의 곡선 교차점을 결정하는 단계;
    상기 중첩 투영될 패턴에서 2개의 상기 곡선 교차점 사이에 있는 선분에 대해 삭제처리를 하고, 삭제처리를 거친 상기 중첩 투영될 패턴에 있는 2개의 나머지 곡선 선분을 얻는 단계;
    2개의 상기 곡선 교차점의 연결선에 대응하는 수직 이등분선 교차점을 결정하는 단계;
    상기 수직 이등분선 교차점과 상기 곡선 중첩 영역 내에 위치한 경계 교차점 사이의 수직거리를 검측하고, 상기 수직거리를 기설정 거리 임계값과 비교하는 단계로서, 상기 경계 교차점은 상기 수직 이등분선과 상기 장애물 영역의 가장자리의 교차점인 단계;
    상기 수직거리가 기설정 거리 임계값 이하인 경우, 2개의 상기 나머지 곡선 선분, 상기 곡선 교차점 및 상기 경계 교차점에 따라 상기 투영될 패턴을 조정하여, 조정을 거친 투영될 패턴을 얻는 단계를 포함하고,
    상기 조정을 거친 투영될 패턴과 상기 장애물 영역 사이에는 중첩 영역이 없는 것이고; 또는
    상기 중첩 영역에 따라 상기 투영될 패턴을 조정하는 단계는,
    상기 장애물 영역과의 중첩 영역을 갖는 초기 투영될 패턴 또는 확대 투영될 패턴을 중첩 투영될 패턴으로 기록하는 단계로서, 상기 중첩 투영될 패턴은 상기 장애물 영역과 중첩되는 중첩 영역, 및 상기 장애물 영역과 중첩되지 않는 나머지 영역을 포함하는 단계;
    상기 중첩 투영될 패턴의 중첩 영역을 삭제하거나 상기 중첩 투영될 패턴을 기설정 비율에 따라 축소하여 상기 중첩 투영될 패턴이 상기 장애물 영역의 가장자리에 접하도록 함으로써 조정을 거친 투영될 패턴을 얻는 단계를 포함하는 것인, 인터랙션 방법.
  10. 투영 장치, 환경감지 센서 및 프로세서를 포함하는 이동 로봇으로서,
    상기 환경감지 센서는 실시간 장애물 정보와 상기 이동 로봇 주변의 도로상황을 지시하기 위한 실시간 지시 정보를 포함한 실시간 환경감지 데이터를 수집하도록 구성되고,
    상기 프로세서는 상기 이동 로봇이 위치한 공간의 지도 데이터 정보를 획득하고 상기 실시간 환경감지 데이터를 획득하고, 상기 실시간 장애물 정보와 상기 지도 데이터 정보에 기초하여 상기 이동 로봇의 목표 주행경로 정보를 획득하며, 상기 목표 주행경로 정보와 상기 실시간 지시 정보에 따라 지면 투영 영역을 결정하고, 상기 이동 로봇의 주행 의도를 지시하기 위한 투영될 패턴을 획득하며, 상기 투영될 패턴 및 상기 지면 투영 영역에 따라 상기 투영될 패턴에 대응하는 투영 파라미터를 결정하고, 상기 투영될 패턴을 상기 지면 투영 영역에 투사하기 위해 상기 투영 파라미터에 따라 상기 투영 장치를 제어하도록 구성되며,
    상기 투영 장치는 상기 투영될 패턴을 상기 지면 투영 영역에 투사하도록 구성되는 것인, 이동 로봇.
KR1020247001573A 2021-11-16 2022-11-16 이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체(interaction method and apparatus for mobile robot, and mobile robot and storage medium) KR20240021954A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN202111354791.4A CN114265397B (zh) 2021-11-16 2021-11-16 移动机器人的交互方法、装置、移动机器人和存储介质
CN202111355659.5A CN114274117A (zh) 2021-11-16 2021-11-16 机器人、基于障碍物的机器人交互方法、装置及介质
CN202111355659.5 2021-11-16
CN202111354791.4 2021-11-16
PCT/CN2022/132312 WO2023088316A1 (zh) 2021-11-16 2022-11-16 移动机器人的交互方法、装置、移动机器人和存储介质

Publications (1)

Publication Number Publication Date
KR20240021954A true KR20240021954A (ko) 2024-02-19

Family

ID=86396251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247001573A KR20240021954A (ko) 2021-11-16 2022-11-16 이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체(interaction method and apparatus for mobile robot, and mobile robot and storage medium)

Country Status (4)

Country Link
EP (1) EP4350461A1 (ko)
JP (1) JP2024524595A (ko)
KR (1) KR20240021954A (ko)
WO (1) WO2023088316A1 (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187010A1 (en) * 2005-02-18 2006-08-24 Herbert Berman Vehicle motion warning device
WO2016103543A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
CN105976457A (zh) * 2016-07-12 2016-09-28 百度在线网络技术(北京)有限公司 用于指示车辆行车动态的方法和装置
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技(深圳)有限公司 导览机器人及其移动区域标定方法
CN107139832A (zh) * 2017-05-08 2017-09-08 杨科 一种汽车光学投影警示系统及其方法
CN108303972B (zh) * 2017-10-31 2020-01-17 腾讯科技(深圳)有限公司 移动机器人的交互方法及装置
CN110039535B (zh) * 2018-01-17 2022-12-16 阿里巴巴集团控股有限公司 机器人交互方法及机器人
CN109491875A (zh) * 2018-11-09 2019-03-19 浙江国自机器人技术有限公司 一种机器人信息显示方法、系统及设备
CN109927624B (zh) * 2019-01-18 2022-06-28 驭势(上海)汽车科技有限公司 车辆移动的目标区域的投影方法、hmi计算机系统及车辆
JP7312582B2 (ja) * 2019-03-19 2023-07-21 株式会社フジタ 無人移動装置
CN110442126A (zh) * 2019-07-15 2019-11-12 北京三快在线科技有限公司 一种移动机器人及其避障方法
CN114265397B (zh) * 2021-11-16 2024-01-16 深圳市普渡科技有限公司 移动机器人的交互方法、装置、移动机器人和存储介质
CN114274117A (zh) * 2021-11-16 2022-04-05 深圳市普渡科技有限公司 机器人、基于障碍物的机器人交互方法、装置及介质

Also Published As

Publication number Publication date
JP2024524595A (ja) 2024-07-05
WO2023088316A1 (zh) 2023-05-25
EP4350461A1 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
CN108247647B (zh) 一种清洁机器人
JP6735765B2 (ja) 位置に依存するコンテンツを表示するためのシステムおよび方法
US9840003B2 (en) Apparatus and methods for safe navigation of robotic devices
US10262230B1 (en) Object detection and identification
WO2019085716A1 (zh) 移动机器人的交互方法、装置、移动机器人及存储介质
US9122053B2 (en) Realistic occlusion for a head mounted augmented reality display
CN108733420A (zh) 智能设备的唤醒方法、装置、智能设备和存储介质
EP2571660B1 (en) Mobile human interface robot
KR20210017981A (ko) 로봇을 이용한 서빙 시스템 및 그 작동방법
GB2527207A (en) Mobile human interface robot
CN103616032B (zh) 导航地图显示比例尺与三维视角自动控制方法及装置
CN106463060A (zh) 处理装置、处理系统、处理程序和处理方法
WO2011146259A2 (en) Mobile human interface robot
JP2014531078A (ja) 車両周辺の表示方法
CN109773783B (zh) 一种基于空间点云识别的巡防智能机器人及其警务系统
US11971536B2 (en) Dynamic matrix filter for vehicle image sensor
WO2018213702A1 (en) Augmented reality system
JP2017182340A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019135579A (ja) 移動体制御システム、移動体及び移動体制御方法
EP3710916A1 (en) System and method for image position determination using one or more anchors
CN114265397B (zh) 移动机器人的交互方法、装置、移动机器人和存储介质
JP2020033003A (ja) 表示制御装置、及び表示制御プログラム
CN110442126A (zh) 一种移动机器人及其避障方法
KR20240021954A (ko) 이동 로봇의 인터랙션 방법, 장치, 이동 로봇 및 저장매체(interaction method and apparatus for mobile robot, and mobile robot and storage medium)
KR20170115188A (ko) 산업 현장 운반 로봇