KR20220019930A - 로봇 및 그 제어 방법 - Google Patents

로봇 및 그 제어 방법 Download PDF

Info

Publication number
KR20220019930A
KR20220019930A KR1020200100228A KR20200100228A KR20220019930A KR 20220019930 A KR20220019930 A KR 20220019930A KR 1020200100228 A KR1020200100228 A KR 1020200100228A KR 20200100228 A KR20200100228 A KR 20200100228A KR 20220019930 A KR20220019930 A KR 20220019930A
Authority
KR
South Korea
Prior art keywords
information
image
pixel
robot
external light
Prior art date
Application number
KR1020200100228A
Other languages
English (en)
Inventor
황보민수
홍현석
이영록
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200100228A priority Critical patent/KR20220019930A/ko
Priority to CN202180056307.1A priority patent/CN116096539A/zh
Priority to EP21856133.0A priority patent/EP4151373A4/en
Priority to PCT/KR2021/010331 priority patent/WO2022035127A1/ko
Publication of KR20220019930A publication Critical patent/KR20220019930A/ko
Priority to US18/108,390 priority patent/US20230185308A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

로봇이 개시된다. 본 개시에 따른 로봇은, 발광부; 카메라; 및 프로세서;를 포함하고, 프로세서는, 발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 카메라를 이용하여 오브젝트에 대한 제1 정보를 획득하고, 발광부가 광을 출력하지 않는 동안 카메라를 이용하여 오브젝트에 대한 제2 정보를 획득하고, 제1 정보 및 제2 정보를 바탕으로 오브젝트에 대한 제3 정보를 획득하고, 제1 정보, 제2 정보 및 제3 정보 중 적어도 하나를 바탕으로 외부광 영역에 대한 정보를 획득하고, 외부광 영역에 대한 정보를 바탕으로 로봇의 주행 경로를 생성할 수 있다.

Description

로봇 및 그 제어 방법{ROBOT AND METHOD FOR CONTROLLING THEREOF}
본 개시는 로봇 및 그 제어 방법으로, 보다 상세하게는, 외부광 영역에 대한 정보를 바탕으로 주행 경로를 생성하는 로봇 및 그 제어 방법에 관한 것이다.
근래에는 전자 기술의 발달에 힘입어 자율주행 로봇에 대한 연구가 활발히 진행되고 있다. 로봇의 원활한 주행을 위해서는 로봇 주변에 대한 거리 정보를 획득하는 것이 중요하다. 거리 정보를 획득하는 방법의 일 예로, 로봇은 광을 출력하고, 오브젝트로부터 반사된 광을 수신하여 오브젝트에 대한 거리 정보를 획득할 수 있다.
한편, 태양광과 같은 외부광에 노출되는 환경에서 로봇이 주행하는 경우, 로봇은 외부광을 수신할 수 있다. 이 경우, 로봇은 로봇에 의해 출력된 광과 외부광을 구분하지 못하여 외부광을 오브젝트로 인식하고, 이에 따라 비효율적인 주행을 하는 문제가 있었다.
따라서, 오브젝트의 오검출을 방지하고 효율적인 주행 경로를 생성하는 기술에 대한 필요성이 대두된다.
본 발명이 해결하고자 하는 일 기술적 과제는, 외부광 영역에 대한 정보를 바탕으로 효율적인 주행 경로를 생성하는 로봇을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 로봇에 있어서, 발광부; 카메라; 및 프로세서;를 포함하고, 상기 프로세서는, 상기 발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 상기 카메라를 이용하여 상기 오브젝트에 대한 제1 정보를 획득하고, 상기 발광부가 상기 광을 출력하지 않는 동안 상기 카메라를 이용하여 상기 오브젝트에 대한 제2 정보를 획득하고, 상기 제1 정보 및 상기 제2 정보를 바탕으로 상기 오브젝트에 대한 제3 정보를 획득하고, 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보 중 적어도 하나를 바탕으로 외부광 영역에 대한 정보를 획득하고, 상기 외부광 영역에 대한 정보를 바탕으로 상기 로봇의 주행 경로를 생성하는 로봇이 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 로봇의 제어 방법에 있어서, 발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 카메라를 이용하여 상기 오브젝트에 대한 제1 정보를 획득하고, 상기 발광부가 상기 광을 출력하지 않는 동안 상기 카메라를 이용하여 상기 오브젝트에 대한 제2 정보를 획득하는 단계; 상기 제1 정보 및 상기 제2 정보를 바탕으로 상기 오브젝트에 대한 제3 정보를 획득하는 단계; 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보 중 적어도 하나를 바탕으로 외부광 영역에 대한 정보를 획득하는 단계; 및 상기 외부광 영역에 대한 정보를 바탕으로 상기 로봇의 주행 경로를 생성하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 로봇은 외부광 영역에 대한 정보를 바탕으로 효율적인 주행 경로를 생성할 수 있다. 이에 따라, 사용자 만족감 및 편의성이 향상될 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 거리 정보 획득 방법을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 이미지를 도시한 도면이다.
도 4a는 본 개시의 일 실시 예에 따른 외부광 영역에 대한 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 4b는 본 개시의 다른 일 실시 예에 따른 외부광 영역에 대한 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 4c는 본 개시의 또 다른 일 실시 예에 따른 외부광 영역에 대한 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 주행 경로를 도시한 맵이다.
도 6은 본 개시의 일 실시 예에 따른 카메라를 설명하기 위한 블록도이다.
도 7은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다.
도 8은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다.
도 9는 본 개시의 다른 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다. 
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다.
로봇(100)은 발광부(110), 카메라(120), 주행부(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.
발광부(110)는 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력할 수 있다. 이 때, 오브젝트에 대한 거리 정보란 로봇(100)으로부터 오브젝트 사이의 거리를 의미할 수 있다. 발광부(110)는 기 설정된 시간 간격으로 광을 출력할 수 있다. 예를 들어, 발광부(110)는 제1 시간 주기 동안 광을 출력하고, 제2 시간 주기동안 광을 출력하지 않을 수 있다. 발광부(110)는 다양한 형태를 갖는 레이저를 출력할 수 있다. 예를 들어, 발광부(110)는 지면과 수평 방향의 라인 빔 형태의 레이저를 출력할 수 있다. 발광부(110)는 다양한 레이저 소자로 구현될 수 있다. 예를 들어, 발광부(110)는 레이저 다이오드(LD: Laser Diode) 또는 빅셀(VCSEL: Vertical Cavity Surface Emitting Laser)로 구현될 수 있다.
카메라(120)는 로봇(100) 주변을 촬상하며, 오브젝트로부터 반사되는 반사광을 획득할 수 있다. 특히, 카메라(120)는 발광부(110)로부터 출력된 후 오브젝트로부터 반사된 반사광을 획득할 수 있다. 또한, 카메라(120)는 외부광을 획득할 수 있다. 여기서, 외부광은 태양광을 포함할 수 있다. 한편, 카메라(120)는 다양한 종류의 센서 소자를 포함할 수 있다. 예를 들어, 카메라(120)는 CCD(Charge-Coupled Device) 센서, CMOS(Complementary metal-oxide-semiconductor)센서, 포토다이오드(PD, Photodiode) 및 아발란치 포토다이오드(APD, avalanche photodiode)를 포함할 수 있다.
주행부(130)는 로봇(100)을 이동시키기 위한 구성일 수 있다. 특히, 주행부(130)는 로봇(100)의 주행을 위한 액츄에이터(actuator)를 포함할 수 있다.
메모리(140)는 로봇(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 로봇(100)의 구성요소와 관련된 명령 또는 를 저장할 수 있다. 이를 위해 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다.
프로세서(150)는 로봇(100)의 전반적인 동작을 제어할 수 있다. 프로세서(150)는 이미지 획득 모듈(151), 거리 정보 획득 모듈(152), 보정 이미지 획득 모듈(153), 주행 경로 생성 모듈(154) 및 외부광 영역 식별 모듈(155)을 포함할 수 있다.
이미지 획득 모듈(151)은 카메라(120)를 이용하여 로봇(100) 주변에 대한 이미지를 획득할 수 있다. 이미지 획득 모듈(151)은 카메라(120)가 획득한 광을 바탕으로 이미지를 생성할 수 있다. 이미지 획득 모듈(151)을 통해 획득된 이미지에는 로봇(100) 주변에 존재하는 오브젝트 및 발광부(110)로부터 출력된 후 오브젝트로부터 반사된 광이 포함될 수 있다. 예를 들어, 이미지 획득 모듈(151)은 발광부(110)가 광을 출력하는 동안 제1 이미지를 획득하고, 발광부(110)가 광을 출력하지 않는 동안 제2 이미지를 획득할 수 있다. 이 때, 제1 이미지에는 발광부(110)로부터 출력된 광이 포함되나, 제2 이미지에는 발광부(110)로부터 출력된 광이 포함되지 않을 수 있다.
거리 정보 획득 모듈(152)은 이미지 획득 모듈(151)을 통해 획득된 이미지를 분석하여 이미지에 포함된 오브젝트에 대한 거리 정보를 획득할 수 있다. 예를 들어, 거리 정보 획득 모듈(152)은 삼각 측량법(Triangulation)을 바탕으로 오브젝트에 대한 거리 정보를 획득할 수 있다. 구체적으로, 거리 정보 획득 모듈(152)은 이미지의 픽셀 중 임계 범위 이내의 크기를 갖는 픽셀을 식별할 수 있다. 그리고, 거리 정보 획득 모듈(152)은 식별된 픽셀의 위치를 바탕으로 식별된 픽셀에 대응되는 오브젝트에 대한 거리를 산출할 수 있다. 거리 정보 획득 모듈(152)은 이미지 상에서 발광부(110)로부터 출력된 광에 대응되는 픽셀의 위치를 바탕으로 오브젝트에 대한 거리를 산출할 수 있다.
거리 정보 획득 모듈(152)을 통해 획득된 거리 정보를 바탕으로, 로봇(100)은 주행 경로를 생성하고, 생성된 주행 경로에 따라 주행할 수 있다. 한편, 카메라(120)가 획득하는 광에는 발광부(110)로부터 출력된 광뿐만 아니라 외부광(예로, 태양광)이 포함될 수 있다. 이에 따라, 이미지 획득 모듈(151)을 통해 획득되는 이미지에는 외부광 영역(또는 외부광)이 존재할 수 있다. 외부광 영역이 포함된 이미지를 바탕으로 거리 정보가 획득되고 주행 경로가 생성되면, 외부광 영역이 오브젝트(또는 장애물)와 같이 처리되어, 거리 정보의 정확도 및 로봇(100)의 주행 효율이 저감될 수 있다. 즉, 실제로 오브젝트가 존재하지 않음에도 불구하고, 외부광이 오브젝트로 인식됨에 따라 외부광 영역을 우회하는 주행 경로가 생성될 수 있다.
이와 같이 외부광으로 인해 로봇(100)의 주행 효율이 저감되는 것을 방지하기 위하여, 보정 이미지 획득 모듈(153)은 외부광 영역이 제거된 새로운 이미지를 획득할 수 있다. 도 2에 도시된 바와 같이, 보정 이미지 획득 모듈(153)은 발광부(110)가 광을 출력하는 동안 획득된 제1 이미지(10)와 발광부(110)가 광을 출력하지 않는 동안 획득된 제2 이미지(20)를 바탕으로 제3 이미지(30)를 생성할 수 있다. 구체적으로, 보정 이미지 획득 모듈(153)은 제1 이미지(10)의 픽셀값에서 제2 이미지(20)의 픽셀값을 차감하여 제3 이미지(30)를 생성할 수 있다. 도 2에 도시된 바와 같이, 제1 이미지(10)는 발광부(110)로부터 출력된 광에 대응되는 영역(또는, 레이저 영역)(A) 및 외부광 영역(B)을 포함하나, 제3 이미지(30)는 외부광 영역(B)을 포함하지 않을 수 있다.
거리 정보 획득 모듈(152)은 외부광 영역이 제거된 제3 이미지(30)를 바탕으로 제3 거리 정보(31)를 획득할 수 있다. 거리 정보 획득 모듈(152)은 제3 이미지(30) 상에서의 레이저 영역(A)의 위치를 바탕으로 제3 거리 정보(31)를 획득할 수 있다. 제3 거리 정보(31)는 복수의 각도(
Figure pat00001
)에 각각 대응되는 거리 데이터(r)를 포함할 수 있다.
주행 경로 생성 모듈(154)은 제3 거리 정보(31)를 바탕으로 주행 경로를 생성할 수 있다. 프로세서(150)는 생성된 주행 경로를 따라 로봇(100)이 주행하도록 주행부(130)를 제어할 수 있다. 이와 같이, 제3 이미지(30)를 바탕으로 거리 정보를 획득함에 따라 거리 정보의 정확도가 향상되며 로봇(100)의 주행 효율이 향상될 수 있다.
한편, 도 3에 도시된 바와 같이, 레이저 영역(A)과 외부광 영역(B)이 오버랩되는 경우가 있을 수 있다. 보정 이미지 획득 모듈(153)은 제1 이미지(10)의 픽셀값에서 제2 이미지(20)의 픽셀값을 차감하여 제3 이미지(30)를 생성하므로, 외부광 영역(B)뿐만 아니라 레이저 영역(A) 중 일부가 제거될 수 있다. 이 경우 제3 이미지(30)를 바탕으로 주행 경로가 생성되면, 제거된 레이저 영역(A)이 주행 경로 생성시 반영되지 않게 되므로, 이에 따라 로봇(100)이 외부광 영역(B)으로 주행하게 되어 외부광 영역(B)에 존재하는 오브젝트와 충돌하는 문제가 발생할 수 있다.
이 같은 문제를 방지하기 위하여, 레이저 영역(A)과 외부광 영역(B)이 오버랩되는 경우, 외부광 영역 식별 모듈(155)은 외부광 영역(B)을 식별하고, 주행 경로 생성 모듈(154)은 식별된 외부광 영역(B)을 우회하여 주행하도록 주행 경로를 생성할 수 있다.
한편, 외부광 영역 식별 모듈(155)은 오브젝트에 대한 정보를 바탕으로 외부광 영역(B)을 식별할 수 있다. 여기서, 오브젝트에 대한 정보는 오브젝트를 촬상한 이미지, 오브젝트에 대한 거리 정보를 포함할 수 있다. 예를 들어, 오브젝트에 대한 정보는 발광부(110)가 광을 출력하는 동안 촬상된 제1 이미지 및 발광부(110)가 광을 출력하지 않는 동안 촬상된 제2 이미지를 포함할 수 있다. 또는, 오브젝트에 대한 정보는 제1 이미지에 포함된 오브젝트에 대한 거리 정보 및 제2 이미지에 포함된 오브젝트에 대한 거리 정보를 포함할 수 있다.
이하에서는, 다양한 실시 예에 따른 외부광 영역 식별 방법에 대하여 설명하도록 한다.
일 실시 예에 따르면, 외부광 영역 식별 모듈(155)은 제1 이미지(10)를 분석하여 외부광 영역(B)을 식별할 수 있다. 구체적으로, 외부광 영역 식별 모듈(155)은 제1 이미지(10)의 픽셀 중 임계값 이상의 크기를 갖는 픽셀을 식별할 수 있다. 외부광 영역 식별 모듈(155)은 식별된 픽셀에 대응되는 영역을 식별할 수 있다. 외부광 영역 식별 모듈(155)은 식별된 영역의 두께 정보를 획득할 수 있다. 외부광 영역 식별 모듈(155)은 임계값 이상의 크기를 갖는 복수의 픽셀 중 하단에 위치하는 픽셀과 상단에 위치하는 픽셀의 위치 정보를 바탕으로 식별된 영역의 두께 정보를 획득할 수 있다.
외부광 영역 식별 모듈(155)은 획득된 두께에 대한 정보와 기 저장된 광의 두께에 대한 정보를 비교하여 식별된 픽셀에 대응되는 영역이 외부광 영역(B)에 해당하는지 여부를 식별할 수 있다. 여기서, 기 저장된 광의 두께에 대한 정보는, 이미지 내 위치와 광의 두께에 대한 정보가 매칭되어 저장된 룩-업 테이블(look-up table)을 포함할 수 있다. 예를 들어, 식별된 픽셀에 대응되는 영역의 두께가 룩-업 테이블에 저장된 두께보다 크면, 외부광 영역 식별 모듈(155)은 식별된 픽셀에 대응되는 영역을 외부광 영역(B)으로 식별할 수 있다. 또는, 식별된 픽셀에 대응되는 영역의 두께와 룩-업 테이블에 저장된 두께의 차이가 임계값 이상이면, 외부광 영역 식별 모듈(155)은 식별된 픽셀에 대응되는 영역을 외부광 영역(B)으로 식별할 수 있다.
외부광 영역 식별 모듈(155)은 제1 이미지(10)의 패턴을 분석하여 외부광 영역(B)을 식별할 수 있다. 구체적으로, 외부광 영역 식별 모듈(155)은 1 이미지(10)의 픽셀 중 임계값 이상의 크기를 갖는 픽셀을 식별할 수 있다. 외부광 영역 식별 모듈(155)은 식별된 픽셀에 대응되는 영역이 갖는 패턴과 기 저장된 패턴을 비교하여 외부광 영역(B)을 식별할 수 있다. 예를 들어, 외부광 영역 식별 모듈(155)은 식별된 픽셀에 대응되는 영역이 갖는 패턴이 기 저장된 패턴의 유사도를 획득하고, 획득된 유사도가 임계값 이하이면, 식별된 영역을 외부광 영역(B)으로 식별할 수 있다. 여기서, 기 저장된 패턴은 발광부(110)로부터 출력되는 광의 형태(예로, 라인 빔 형태)를 바탕으로 정해질 수 있다.
다른 일 실시 예에 따르면, 외부광 영역 식별 모듈(155)은 제2 이미지(20)를 분석하여 외부광 영역(B)을 식별할 수 있다. 구체적으로, 외부광 영역 식별 모듈(155)은 제2 이미지(20)의 픽셀 중 임계값 이상의 크기를 갖는 픽셀을 식별할 수 있다. 외부광 영역 식별 모듈(155)은 식별된 픽셀에 대응되는 영역을 외부광 영역(B)으로 식별할 수 있다. 즉, 제2 이미지(20)는 발광부(110)가 광을 출사하지 않는 동안 획득된 이미지이므로, 외부광 영역 식별 모듈(155)은 제2 이미지(20)에 임계값 이상의 크기를 갖는 픽셀이 존재하면, 해당 픽셀이 외부광에 따라 임계값 이상의 크기를 갖게된 것으로 판단할 수 있다.
한편, 외부광 영역 식별 모듈(155)은 거리 정보 획득 모듈(152)을 통해 획득된 거리 정보를 바탕으로 외부광 영역을 식별할 수 있다. 거리 정보는 로봇(100)으로부터의 거리, 로봇(100)을 기준으로 한 각도(또는 위치)에 대한 정보를 포함할 수 있다. 도 4a에 도시된 바와 같이, 거리 정보는 복수의 각도(
Figure pat00002
)에 각각 대응되는 거리 데이터(r)를 포함할 수 있다. 전술한 바와 같이, 거리 정보 획득 모듈(152)은 삼각 측량법을 이용하여 제1 이미지(10)를 바탕으로 제1 거리 정보(11)를 획득하고, 제2 이미지(20)를 바탕으로 제2 거리 정보(21)를 획득할 수 있다.
외부광 영역 식별 모듈(155)은 제2 거리 정보(21)를 바탕으로 외부광 영역(B)을 식별할 수 있다. 예를 들어, 외부광 영역 식별 모듈(155)은 제2 거리 정보(21) 중 임계 범위 이내의 거리 데이터(
Figure pat00003
)를 획득할 수 있다. 그리고, 외부광 영역 식별 모듈(155)은 획득된 거리 데이터(
Figure pat00004
)에 대응되는 제2 이미지(20)의 픽셀의 위치 정보를 획득할 수 있다. 외부광 영역 식별 모듈(155)은 획득된 픽셀의 위치 정보를 외부광 영역(B)에 대한 위치 정보로 획득할 수 있다.
한편, 거리 정보 획득 모듈(152)은 제1 거리 정보(11)에서 제2 거리 정보(21)를 차감하여 제3 거리 정보(31)를 획득할 수 있다. 그리고, 주행 경로 생성 모듈(154)은 제3 거리 정보(31) 및 외부광 영역(B)에 대한 위치 정보를 바탕으로 주행 경로를 생성할 수 있다. 예로, 주행 경로 생성 모듈(154)은 레이저 영역(A) 및 외부광 영역(B)을 우회하는 주행 경로를 생성할 수 있다.
한편, 제2 거리 정보(21)를 바탕으로 외부광 영역(B)이 식별되면, 외부광 영역 식별 모듈(155)은 식별된 외부광 영역(B)에 대응되는 거리 데이터의 값을 기 설정된 값으로 변환하여 저장할 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 외부광 영역 식별 모듈(155)은 제2 거리 정보(21) 중 거리 데이터(
Figure pat00005
)의 값을 기 설정된 값(c)으로 변환하여 저장할 수 있다. 이에 따라, 거리 정보 획득 모듈(152)을 통해 획득되는 제3 거리 정보(31)는 기 설정된 값(c)이 반영된 거리 데이터를 포함할 수 있다. 이 경우, 주행 경로 생성 모듈(154)은 거리 데이터(
Figure pat00006
)의 값을 바탕으로 거리 데이터(
Figure pat00007
)에 대응되는 영역을 우회하는 주행 경로를 생성할 수 있다. 이와 같이, 외부광 영역 식별 모듈(155)은 주행 경로 생성 시 반영될 수 있도록 외부광 영역(B)에 대응되는 거리 데이터를 기 설정된 값으로 변환하여 저장할 수 있다.
도 4a 및 도 4b에서는 거리 정보 획득 모듈(152)이 제1 거리 정보(11)에서 제2 거리 정보(21)를 차감하여 제3 거리 정보(31)를 획득하는 실시 예에 대해 설명하였으나, 거리 정보 획득 모듈(152)은 보정 이미지 획득 모듈(153)을 통해 획득된 제3 이미지(30)를 바탕으로 제3 거리 정보(31)를 획득할 수 있다.
도 4c를 참조하면, 보정 이미지 획득 모듈(153)은 제1 이미지(10)의 픽셀값에서 제2 이미지(20)의 픽셀값을 차감하여 제3 이미지(30)를 생성할 수 있다. 한편, 제1 이미지(10)가 촬상된 시점과 제2 이미지(20)가 촬상된 시점 사이에 로봇(100)은 이동할 수 있다. 이에 따라, 제1 이미지(10) 및 제2 이미지(20)의 픽셀의 위치의 정합이 필요할 수 있다. 보정 이미지 획득 모듈(153)은 제1 이미지(10)의 픽셀값에서 제2 이미지(20)의 픽셀값을 차감하기에 앞서, 제1 이미지(10) 또는 제2 이미지(20)의 픽셀의 위치를 보정할 수 있다. 그리고, 거리 정보 획득 모듈(152)은 제1 이미지(10)의 픽셀값에서 제2 이미지(20)의 픽셀값을 차감하여 제3 이미지(30)를 생성할 수 있다. 거리 정보 획득 모듈(152)은 제3 이미지(30)에 포함된 레이저 영역(A)에 대응되는 픽셀의 위치를 바탕으로 레이저 영역(A)에 대한 거리 정보를 포함하는 제3 거리 정보(31)를 획득할 수 있다. 즉, 거리 정보 획득 모듈(152)은 삼각 측량법에 기초하여 제3 거리 정보(31)를 획득할 수 있다.
상술한 프로세서(150)의 각 모듈들은 소프트웨어(software)로 구현되거나, 소프트웨어와 하드웨어(hardware)가 결합된 형태로 구현될 수 있다.
한편, 도 1에서는 복수의 모듈(151 내지 155)을 프로세서(150)의 일 구성으로 도시하였다. 다만, 이는 일 실시 예에 불과하며, 복수의 모듈(151 내지 155)은 메모리(140)에 저장될 수 있다. 이 때, 프로세서(150)는 메모리(140)에 저장된 복수의 모듈(151 내지 155)을 비휘발성 메모리에서 휘발성 메모리로 로딩(loading)하여 복수의 모듈(151 내지 155)의 각 기능들을 실행할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 로봇의 주행 경로를 도시한 맵이다.
도 5에 도시된 바와 같이, 로봇(100)은 레이저 영역(A) 및 외부광 영역(B)을 우회하는 주행 경로(P)를 생성할 수 있다. 종래의 로봇은 외부광 영역(B)을 고려하지 않고 오로지 도 4a, 4b의 제3 거리 정보(31)만을 바탕으로 주행 경로를 생성하므로, 제3 거리 정보(31)에서 거리 값이 0인 영역에 대해서는 자유 공간으로 판단하고, 이를 통과하는 주행 경로를 생성하였다. 이에 따라, 종래의 로봇은 외부광 영역(B)을 그대로 통과하는 주행 경로를 생성하게 되었으며, 외부광 영역(B)에 오브젝트가 존재하는 경우, 충돌 사고가 발생하는 문제가 있었다. 반면에, 본 개시의 일 실시 예에 따른 로봇(100)은 제3 거리 정보(31)뿐만 아니라, 외부광 영역(B)을 고려하여 주행 경로를 생성하므로, 외부광 영역(B)을 우회하는 주행 경로를 생성할 수 있으며, 이에 따라 주행 안전성이 향상될 수 있다.
한편, 이상에서는 로봇(100)이 발광부(110)가 광을 출력하는 동안 제1 이미지(10)를 획득하고, 발광부(110)가 광을 출력하지 않는 동안 제2 이미지(20)를 획득하는 것으로 설명하였다. 다만, 이는 일 실시 예에 불과하며, 로봇(100)은 발광부(110)가 광을 출력하는 동안에도 제2 이미지(20)를 획득할 수 있도록 구현될 수 있다.
도 6은 본 개시의 일 실시 예에 따른 제2 이미지 획득 방법을 설명하기 위한 로봇의 블록도이다. 도 6을 참조하면, 카메라(120)는 제1 센서(121) 및 제2 센서(122)를 포함할 수 있다. 이 때, 제2 센서(122)는 발광부(110)로부터 출력되는 광의 파장(예로, 905nm)에 대응되는 광을 차단하는 필터(예로, 대역 차단 필터)를 포함할 수 있다. 따라서, 제2 센서(122)는 발광부(110)가 광을 출력하는 동안에도 레이저 영역을 포함하지 않는 제2 이미지(20)를 획득할 수 있다. 그리고, 제1 센서(121)는 레이저 영역을 포함하는 제1 이미지(10)를 획득할 수 있다. 프로세서(150)는 제1 이미지(10) 및 제2 이미지(20)를 바탕으로 외부광 영역이 제거된 제3 이미지(30)를 획득할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다.
로봇(100)은 발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 카메라를 이용하여 오브젝트에 대한 제1 정보를 획득하고, 발광부가 광을 출력하지 않는 동안 카메라를 이용하여 오브젝트에 대한 제2 정보를 획득할 수 있다(S710). 여기서, 제1 정보 및 제2 정보는 카메라를 통해 촬상된 이미지일 수 있다. 또는, 제1 정보 및 제2 정보는 이미지를 바탕으로 획득된 거리 정보일 수 있다. 본 개시에서 정보는 이미지 및 거리 정보를 포함한다.
로봇(100)은 제1 정보 및 제2 정보를 바탕으로 오브젝트에 대한 제3 정보를 획득할 수 있다(S720). 제1 정보 및 제2 정보가 이미지인 경우, 로봇(100)은 제1 정보의 픽셀값에서 제2 정보의 픽셀값을 차감하여 제3 정보(제3 이미지)를 획득할 수 있다. 제1 정보 및 제2 정보가 이미지 내 각 영역에 대한 거리 데이터인 경우, 로봇(100)은 제1 정보에서 제2 정보를 차감하여 제3 정보를 획득할 수 있다.
로봇(100)은 제1 정보, 제2 정보 및 제3 정보 중 적어도 하나를 바탕으로 외부광 영역에 대한 정보를 획득할 수 있다(S730). 일 예로, 로봇(100)은 제2 정보를 분석하여 외부광 영역에 대한 정보를 획득할 수 있다. 구체적으로, 제2 정보가 이미지인 경우, 로봇(100)은 제2 정보의 픽셀 중 임계값 이상의 크기를 갖는 픽셀의 위치 정보를 획득할 수 있다. 로봇(100)은 획득된 픽셀의 위치 정보를 외부광 영역에 대한 위치 정보로 획득할 수 있다. 제2 정보가 거리 정보인 경우, 로봇(100)은 제2 정보 중 임계 범위 이내의 거리 정보를 식별할 수 있다. 로봇(100)은 식별된 거리 정보에 대응되는 위치 정보를 획득하고, 획득된 픽셀의 위치 정보를 외부광 영역에 대한 위치 정보로 획득할 수 있다.
로봇(100)은 외부광 영역에 대한 정보를 바탕으로 로봇(100)의 주행 경로를 생성할 수 있다(S740). 로봇(100)은 외부광 영역을 우회하는 주행 경로를 생성할 수 있다. 이에 따라, 로봇(100)의 주행 안전성이 향상될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다.
로봇(100)은 발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 카메라를 이용하여 제1 이미지를 획득하고, 발광부가 광을 출력하지 않는 동안 카메라를 이용하여 제2 이미지를 획득할 수 있다(S810). 이에 따라, 제1 이미지에는 발광부로부터 출력된 광에 대한 정보가 포함되는 반면, 제2 이미지에는 발광부로부터 출력된 광에 대한 정보가 포함되지 않을 수 있다.
로봇(100)은 제1 이미지의 픽셀값에서 제2 이미지의 픽셀값을 차감하여 제3 이미지를 획득할 수 있다(S820). 이에 따라, 제3 이미지에는 외부광 영역에 대한 정보가 포함되지 않을 수 있다. 로봇(100)은 제3 이미지를 분석하여 제3 이미지에 포함된 오브젝트에 대한 거리 정보를 획득할 수 있다(S830). 이 때, 로봇(100)은 제3 이미지에서 발광부로부터 출력된 광의 위치를 바탕으로 오브젝트에 대한 거리 정보를 획득할 수 있다.
로봇(100)은 제1 이미지, 제2 이미지 및 제3 이미지 중 적어도 하나를 바탕으로 외부광 영역에 대한 정보를 획득할 수 있다(S840). 일 예로, 로봇(100)은 제1 이미지의 픽셀 중 임계값 이상의 크기를 갖는 픽셀을 식별할 수 있다. 이 때, 로봇(100)은 식별된 픽셀에 대응되는 영역의 두께 정보를 획득할 수 있다. 그리고, 로봇(100)은 획득된 두께 정보와 기 저장된 두께 정보를 비교하여 식별된 픽셀에 대응되는 영역이 외부광 영역에 해당하는지 여부를 식별할 수 있다. 다른 일 예로, 로봇(100)은 제1 이미지의 패턴을 기 저장된 패턴과 비교 분석하여 제1 이미지에 포함된 외부광 영역을 식별할 수 있다.
로봇(100)은 오브젝트에 대한 거리 정보 및 외부광 영역에 대한 정보를 바탕으로 주행 경로를 생성할 수 있다(S850). 로봇(100)은 오브젝트 및 외부광 영역으로부터 기 설정된 거리 이상 떨어져 주행하기 위한 주행 경로를 생성할 수 있다.
도 9는 본 개시의 다른 일 실시 예에 따른 로봇의 제어 방법을 도시한 순서도이다.
로봇(100)은 발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 카메라를 이용하여 제1 이미지를 획득하고, 발광부가 광을 출력하지 않는 동안 카메라를 이용하여 제2 이미지를 획득할 수 있다(S910). 본 단계는 도 8의 S810에 대응되는 바 상세한 설명은 생략하도록 한다.
로봇(100)은 제1 이미지를 바탕으로 제1 거리 정보를 획득하고, 제2 이미지를 바탕으로 제2 거리 정보를 획득할 수 있다(S920). 로봇(100)은 삼각 측량법을 바탕으로 제1 거리 정보 및 제2 거리 정보를 획득할 수 있다. 그리고, 로봇(100)은 제1 거리 정보에서 제2 거리 정보를 차감하여 제3 거리 정보를 획득할 수 있다(S930).
로봇(100)은 제2 거리 정보를 바탕으로 외부광 영역에 대한 정보를 획득할 수 있다(S940). 로봇(100)은 제2 거리 정보 중 임계 범위 이내의 거리 정보를 식별하고, 식별된 거리 정보에 대응되는 제2 이미지의 픽셀의 위치 정보를 획득할 수 있다. 로봇(100)은 획득된 픽셀의 위치 정보를 외부광 영역에 대한 위치 정보로 획득할 수 있다.
로봇(100)은 제3 거리 정보 및 외부광 영역에 대한 정보를 바탕으로 주행 경로를 생성할 수 있다(S950). 로봇(100)은 제3 거리 정보에 포함된 오브젝트에 대한 거리 정보 및 외부광 영역의 위치 정보를 바탕으로, 오브젝트 및 외부광 영역으로부터 기 설정된 거리 이상 떨어져 주행하기 위한 주행 경로를 생성할 수 있다. 즉, 로봇(100)은 오브젝트 및 외부광 영역을 우회하는 주행 경로를 생성할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 로봇 110: 발광부
120: 카메라 130: 주행부
140: 메모리 150: 프로세서

Claims (16)

  1. 로봇에 있어서,
    발광부;
    카메라; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 상기 카메라를 이용하여 상기 오브젝트에 대한 제1 정보를 획득하고, 상기 발광부가 상기 광을 출력하지 않는 동안 상기 카메라를 이용하여 상기 오브젝트에 대한 제2 정보를 획득하고,
    상기 제1 정보 및 상기 제2 정보를 바탕으로 상기 오브젝트에 대한 제3 정보를 획득하고,
    상기 제1 정보, 상기 제2 정보 및 상기 제3 정보 중 적어도 하나를 바탕으로 외부광 영역에 대한 정보를 획득하고,
    상기 외부광 영역에 대한 정보를 바탕으로 상기 로봇의 주행 경로를 생성하는
    로봇.
  2. 제1 항에 있어서,
    상기 제1 정보는,
    상기 발광부가 상기 광을 출력하는 동안 상기 카메라에 의해 촬상된 제1 이미지를 포함하고,
    상기 제2 정보는,
    상기 발광부가 상기 광을 출력하지 않는 동안 상기 카메라에 의해 촬상된 제2 이미지를 포함하고,
    상기 제3 정보는,
    상기 제1 이미지의 픽셀값에서 상기 제2 이미지의 픽셀값이 차감된 제3 이미지를 포함하는
    로봇.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 제2 이미지 픽셀 중 임계값 이상의 크기를 갖는 픽셀의 위치 정보를 획득하고,
    상기 획득된 픽셀의 위치 정보를 상기 외부광 영역에 대한 위치 정보로 획득하는
    로봇.
  4. 제2 항에 있어서,
    상기 프로세서는,
    상기 제1 이미지의 픽셀 중 임계값 이상의 크기를 갖는 적어도 하나의 픽셀을 식별하고,
    상기 적어도 하나의 식별된 픽셀에 대응되는 영역의 두께 정보를 획득하고,
    상기 획득된 두께 정보와 기 저장된 상기 광의 두께 정보를 비교하여 상기 적어도 하나의 식별된 픽셀에 대응되는 영역이 상기 외부광 영역에 해당하는지 여부를 식별하는
    로봇.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 식별된 픽셀에 대응되는 영역의 두께 정보를 획득하고,
    상기 적어도 하나의 식별된 픽셀 중 하단에 위치하는 제1 픽셀의 위치 정보와 상기 적어도 하나의 식별된 픽셀 중 상단에 위치하는 제2 픽셀의 위치 정보를 바탕으로 상기 적어도 하나의 식별된 픽셀에 대응되는 영역의 두께 정보를 획득하는
    로봇.
  6. 제1 항에 있어서,
    상기 제1 정보는,
    상기 발광부가 상기 광을 출력하는 동안 상기 카메라에 의해 촬상된 제1 이미지에 포함된 적어도 하나의 오브젝트에 대한 제1 거리 정보를 포함하고,
    상기 제2 정보는,
    상기 발광부가 상기 광을 출력하지 않는 동안 상기 카메라에 의해 촬상된 제2 이미지에 포함된 적어도 하나의 오브젝트에 대한 제2 거리 정보를 포함하고,
    상기 제3 정보는,
    상기 제1 거리 정보에서 상기 제2 거리 정보가 차감된 제3 거리 정보를 포함하는
    로봇.
  7. 제6 항에 있어서,
    상기 프로세서는,
    상기 제2 거리 정보 중 임계 범위 이내의 거리 정보를 식별하고,
    상기 식별된 거리 정보에 대응되는 상기 제2 이미지의 픽셀의 위치 정보를 획득하고,
    상기 획득된 픽셀의 위치 정보를 상기 외부광 영역에 대한 위치 정보로 획득하는
    로봇.
  8. 제2 항에 있어서,
    상기 프로세서는,
    상기 제3 이미지에 포함된 오브젝트에 대한 거리 정보를 획득하고,
    상기 오브젝트에 대한 거리 정보 및 상기 외부광 영역에 대한 정보를 바탕으로 상기 오브젝트 및 상기 외부광 영역을 우회하는 주행 경로를 생성하는
    로봇.
  9. 로봇의 제어 방법에 있어서,
    발광부가 오브젝트에 대한 거리 정보를 획득하기 위한 광을 출력하는 동안 카메라를 이용하여 상기 오브젝트에 대한 제1 정보를 획득하고, 상기 발광부가 상기 광을 출력하지 않는 동안 상기 카메라를 이용하여 상기 오브젝트에 대한 제2 정보를 획득하는 단계;
    상기 제1 정보 및 상기 제2 정보를 바탕으로 상기 오브젝트에 대한 제3 정보를 획득하는 단계;
    상기 제1 정보, 상기 제2 정보 및 상기 제3 정보 중 적어도 하나를 바탕으로 외부광 영역에 대한 정보를 획득하는 단계; 및
    상기 외부광 영역에 대한 정보를 바탕으로 상기 로봇의 주행 경로를 생성하는 단계;를 포함하는
    제어 방법.
  10. 제9 항에 있어서,
    상기 제1 정보는,
    상기 발광부가 상기 광을 출력하는 동안 촬상된 제1 이미지를 포함하고,
    상기 제2 정보는,
    상기 발광부가 상기 광을 출력하지 않는 동안 촬상된 제2 이미지를 포함하고,
    상기 제3 정보는,
    상기 제1 이미지의 픽셀값에서 상기 제2 이미지의 픽셀값이 차감된 제3 이미지를 포함하는
    제어 방법.
  11. 제10 항에 있어서,
    상기 외부광 영역에 대한 정보를 획득하는 단계는,
    상기 제2 이미지 픽셀 중 임계값 이상의 크기를 갖는 픽셀의 위치 정보를 획득하고,
    상기 획득된 픽셀의 위치 정보를 상기 외부광 영역에 대한 위치 정보로 획득하는
    제어 방법.
  12. 제10 항에 있어서,
    상기 외부광 영역에 대한 정보를 획득하는 단계는,
    상기 제1 이미지의 픽셀 중 임계값 이상의 크기를 갖는 적어도 하나의 픽셀을 식별하는 단계,
    상기 적어도 하나의 식별된 픽셀에 대응되는 영역의 두께 정보를 획득하는 단계, 및
    상기 획득된 두께 정보와 기 저장된 상기 광의 두께 정보를 비교하여 상기 적어도 하나의 식별된 픽셀에 대응되는 영역이 상기 외부광 영역에 해당하는지 여부를 식별하는 단계를 포함하는
    제어 방법.
  13. 제12 항에 있어서,
    상기 적어도 하나의 식별된 픽셀에 대응되는 영역의 두께 정보를 획득하는 단계는,
    상기 적어도 하나의 식별된 픽셀 중 하단에 위치하는 제1 픽셀의 위치 정보와 상기 적어도 하나의 식별된 픽셀 중 상단에 위치하는 제2 픽셀의 위치 정보를 바탕으로 상기 적어도 하나의 식별된 픽셀에 대응되는 영역의 두께 정보를 획득하는
    제어 방법.
  14. 제9 항에 있어서,
    상기 제1 정보는,
    상기 발광부가 상기 광을 출력하는 동안 촬상된 제1 이미지에 포함된 적어도 하나의 오브젝트에 대한 제1 거리 정보를 포함하고,
    상기 제2 정보는,
    상기 발광부가 상기 광을 출력하지 않는 동안 촬상된 제2 이미지에 포함된 적어도 하나의 오브젝트에 대한 제2 거리 정보를 포함하고,
    상기 제3 정보는,
    상기 제1 거리 정보에서 상기 제2 거리 정보가 차감된 제3 거리 정보를 포함하는
    제어 방법.
  15. 제14 항에 있어서,
    상기 외부광 영역에 대한 정보를 획득하는 단계는,
    상기 제2 거리 정보 중 임계 범위 이내의 거리 정보를 식별하고,
    상기 식별된 거리 정보에 대응되는 상기 제2 이미지의 픽셀의 위치 정보를 획득하고,
    상기 획득된 픽셀의 위치 정보를 상기 외부광 영역에 대한 위치 정보로 획득하는
    제어 방법.
  16. 제10 항에 있어서,
    상기 제3 이미지에 포함된 오브젝트에 대한 거리 정보를 획득하는 단계;를 더 포함하고,
    상기 주행 경로를 생성하는 단계는,
    상기 오브젝트에 대한 거리 정보 및 상기 외부광 영역에 대한 정보를 바탕으로 상기 오브젝트 및 상기 외부광 영역을 우회하는 주행 경로를 생성하는 단계를 포함하는
    제어 방법.
KR1020200100228A 2020-08-11 2020-08-11 로봇 및 그 제어 방법 KR20220019930A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200100228A KR20220019930A (ko) 2020-08-11 2020-08-11 로봇 및 그 제어 방법
CN202180056307.1A CN116096539A (zh) 2020-08-11 2021-08-05 机器人及其控制方法
EP21856133.0A EP4151373A4 (en) 2020-08-11 2021-08-05 ROBOT AND ITS CONTROL METHOD
PCT/KR2021/010331 WO2022035127A1 (ko) 2020-08-11 2021-08-05 로봇 및 그 제어 방법
US18/108,390 US20230185308A1 (en) 2020-08-11 2023-02-10 Robot and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200100228A KR20220019930A (ko) 2020-08-11 2020-08-11 로봇 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220019930A true KR20220019930A (ko) 2022-02-18

Family

ID=80246749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200100228A KR20220019930A (ko) 2020-08-11 2020-08-11 로봇 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20230185308A1 (ko)
EP (1) EP4151373A4 (ko)
KR (1) KR20220019930A (ko)
CN (1) CN116096539A (ko)
WO (1) WO2022035127A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374777B (zh) * 2021-06-02 2023-06-16 北京石头世纪科技股份有限公司 线激光模组及自移动设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185412A (ja) * 2001-12-18 2003-07-03 Toshiba Corp 画像取得装置および画像取得方法
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
KR101450569B1 (ko) * 2013-03-05 2014-10-14 엘지전자 주식회사 로봇 청소기
KR101578878B1 (ko) * 2014-05-07 2015-12-21 에브리봇 주식회사 거리 센서 장치, 로봇 청소기 및 이의 제어 방법
JP6848364B2 (ja) * 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
WO2018230864A2 (ko) * 2017-06-14 2018-12-20 엘지전자 주식회사 외부광을 반영하여 객체의 뎁스를 센싱하는 방법 및 이를 구현하는 장치
WO2019044571A1 (ja) * 2017-09-01 2019-03-07 ソニー株式会社 画像処理装置、および画像処理方法、プログラム、並びに移動体
KR102612861B1 (ko) 2019-02-15 2023-12-14 한국철도기술연구원 철도차량용 전기기계식 제동장치의 휴대용 성능 시험장치
CN211012988U (zh) * 2019-11-19 2020-07-14 珠海市一微半导体有限公司 基于激光视觉信息避障导航的移动机器人

Also Published As

Publication number Publication date
EP4151373A1 (en) 2023-03-22
WO2022035127A1 (ko) 2022-02-17
EP4151373A4 (en) 2023-11-08
CN116096539A (zh) 2023-05-09
US20230185308A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
US20210231435A1 (en) Distance measurement device, distance measurement system, imaging apparatus, moving body, method of controlling distance measurement device, method of controlling distance measurement system, and recording medium
US8477198B2 (en) Interaction control system, method for detecting motion of object, host apparatus and control method thereof
WO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR101281260B1 (ko) 차량 인식 방법 및 장치
KR102059244B1 (ko) 라이다 장치
EP2927710B1 (en) Ranging system, information processing method and program thereof
US9699377B2 (en) Depth detecting apparatus and method, and gesture detecting apparatus and gesture detecting method
JP6716857B2 (ja) 移動体、測定システム、測定方法及びプログラム
KR20220019930A (ko) 로봇 및 그 제어 방법
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
US20230177709A1 (en) Electronic device and method for controlling same
US10782409B2 (en) Technologies for LIDAR based moving object detection
CN112106342A (zh) 计算机系统、无人机控制方法以及程序
JP6491893B2 (ja) 自律走行制御システムとこれを用いる自律走行装置及び自律走行制御方法と制御プログラムと記録媒体
WO2015145977A1 (ja) 情報処理装置、画像処理方法と記録媒体、ならびに、pos端末装置
US20220091236A1 (en) Techniques for detecting and mitigating interference among multiple lidar sensors
JP7436509B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP5361352B2 (ja) 目標検出装置
CN117044131A (zh) 光束调整方法及装置、发射端、计算机存储介质
KR20220066690A (ko) 로봇 및 그 제어 방법
CN112887628B (zh) 光探测和测距设备及增加其动态范围的方法
CN112887627B (zh) 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质
US20210208277A1 (en) Real-time denoise and saturation removal of 3d lidar data
US20240142628A1 (en) Object detection device and object detection method
KR20170108262A (ko) 무인 이동 장치를 위한 장애물 검출 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination