KR20220066690A - 로봇 및 그 제어 방법 - Google Patents

로봇 및 그 제어 방법 Download PDF

Info

Publication number
KR20220066690A
KR20220066690A KR1020200153000A KR20200153000A KR20220066690A KR 20220066690 A KR20220066690 A KR 20220066690A KR 1020200153000 A KR1020200153000 A KR 1020200153000A KR 20200153000 A KR20200153000 A KR 20200153000A KR 20220066690 A KR20220066690 A KR 20220066690A
Authority
KR
South Korea
Prior art keywords
depth
depth information
information
filter
robot
Prior art date
Application number
KR1020200153000A
Other languages
English (en)
Inventor
김민주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200153000A priority Critical patent/KR20220066690A/ko
Priority to PCT/KR2021/000222 priority patent/WO2022102870A1/ko
Publication of KR20220066690A publication Critical patent/KR20220066690A/ko
Priority to US18/191,467 priority patent/US20230229171A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Manipulator (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

로봇이 개시된다. 본 개시에 따른 로봇은, 뎁스 카메라, 라이다 센서 및 프로세서;를 포함하고, 프로세서는, 뎁스 카메라를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득하고, 라이다 센서를 이용하여 제1 뎁스 이미지의 제1 영역에 대응되는 제2 뎁스 정보를 획득하고, 제2 뎁스 정보와 제1 영역에 포함된 제1 뎁스 정보의 뎁스 차이를 획득하고, 뎁스 차이가 임계값보다 크면, 제1 영역 주위의 보정 대상 영역을 식별하고, 뎁스 차이를 바탕으로 제1 뎁스 정보를 보정하기 위한 필터에 대한 정보를 획득하고, 제1 뎁스 정보, 제2 뎁스 정보 및 필터에 대한 정보를 바탕으로 보정 대상 영역에 대응되는 제1 뎁스 정보를 보정하여 제2 뎁스 이미지를 획득한다.

Description

로봇 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 개시는 로봇 및 그 제어 방법으로, 보다 상세하게는, 뎁스 정보를 보정하고 보정된 뎁스 정보를 바탕으로 동작하는 로봇 및 그 제어 방법에 관한 것이다.
로봇의 안전한 자율 주행을 위해서는, 로봇 주변의 뎁스 정보를 획득하는 것이 중요하다. 이러한 이유로, 자율 주행 로봇에는 RGB 카메라뿐만 아니라, 뎁스 카메라(depth camera)나 라이다(LiDAR: Light Detection And Ranging) 센서와 같이 뎁스 정보를 획득하기 위한 센서들이 탑재되는 것이 일반적이다.
한편, 뎁스 카메라는 비교적 넓은 범위에 대한 뎁스 정보를 획득할 수 있으나, 오브젝트가 다른 오브젝트와 인접하게 위치한 경우에는 뎁스 정보의 정확도가 크게 감소한다는 문제가 있다. 반면에, 2D 라이다 센서는 뎁스 카메라에 비해 정확도가 높으나, 비교적 좁은 범위에 대해서만 뎁스 정보를 획득할 수 있다는 한계가 있다. 또한, 3D 라이다 센서는 고가이므로, 넓은 범위를 스캔할 수 있는 고사양의 3D 라이다 센서가 로봇에 탑재되면, 로봇의 제조단가가 크게 상승한다는 문제가 있다.
따라서, 2D 라이다 센서를 통해 획득된 뎁스 정보를 이용하여 뎁스 카메라를 통해 획득되는 뎁스 정보의 정확도를 높이기 위한 기술에 대한 필요성이 대두된다.
본 발명이 해결하고자 하는 일 기술적 과제는, 2D 라이다 센서를 통해 획득되는 뎁스 정보를 이용하여 뎁스 카메라를 통해 획득되는 뎁스 정보의 정확도를 향상시키는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 로봇에 있어서, 뎁스 카메라; 라이다 센서; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 프로세서;를 포함하고, 프로세서는, 뎁스 카메라를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득하고, 라이다 센서를 이용하여 제1 뎁스 이미지의 제1 영역에 대응되는 제2 뎁스 정보를 획득하고, 제2 뎁스 정보와 제1 영역에 포함된 제1 뎁스 정보의 뎁스 차이를 획득하고, 뎁스 차이가 임계값보다 크면, 제1 영역 주위의 보정 대상 영역을 식별하고, 뎁스 차이를 바탕으로 제1 뎁스 정보를 보정하기 위한 필터에 대한 정보를 획득하고, 제1 뎁스 정보, 제2 뎁스 정보 및 필터에 대한 정보를 바탕으로 보정 대상 영역에 대응되는 제1 뎁스 정보를 보정하여 제2 뎁스 이미지를 획득하는 로봇이 제공될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 로봇의 제어 방법에 있어서, 로봇에 포함된 뎁스 카메라를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득하고, 로봇에 포함된 라이다 센서를 이용하여 제1 뎁스 이미지의 제1 영역에 대응되는 제2 뎁스 정보를 획득하는 단계; 제2 뎁스 정보와 제1 영역에 포함된 제1 뎁스 정보의 뎁스 차이를 획득하는 단계; 뎁스 차이가 임계값보다 크면, 제1 영역 주위의 보정 대상 영역을 식별하는 단계; 뎁스 차이를 바탕으로 제1 뎁스 정보를 보정하기 위한 필터에 대한 정보를 획득하는 단계; 제1 뎁스 정보, 제2 뎁스 정보 및 필터에 대한 정보를 바탕으로 보정 대상 영역에 대응되는 제1 뎁스 정보를 보정하여 제2 뎁스 이미지를 획득하는 단계; 및 제2 뎁스 이미지를 바탕으로 로봇의 주행 경로를 생성하는 단계;를 포함하는 제어 방법이 제공될 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 로봇은 정확도가 향상된 뎁스 정보를 바탕으로 태스크를 수행할 수 있다. 이에 따라, 로봇의 태스크 효율이 향상되어 사용자 편의성 및 만족도가 향상될 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1a는 본 개시의 일 실시 예에 따른 로봇을 도시한 도면이다.
도 1b는 본 개시의 일 실시 예에 따른 뎁스 카메라 및 라이다 센서의 센싱값을 나타내는 그래프이다.
도 2는 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 뎁스 정보 보정 방법을 설명하기 위한 도면이다.
도 4a는 본 개시의 일 실시 예에 따른 뎁스 정보 보정 방법을 설명하기 위한 도면이다.
도 4b는 본 개시의 다른 일 실시 예에 따른 뎁스 정보 보정하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 뎁스 정보를 x-z평면에 도시한 그래프이다.
도 6은 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다.
도 7은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1a는 본 개시의 일 실시 예에 따른 로봇을 도시한 도면이다.
로봇(100)은 뎁스 카메라(110) 및 라이다 센서(120)를 포함할 수 있다. 로봇(100)은 뎁스 카메라(110) 및 라이다 센서(120)를 이용하여 주변 오브젝트(1)에 대한 거리 정보를 획득할 수 있다. 로봇(100)은 뎁스 카메라(110)를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득할 수 있다. 그리고, 로봇(100)은 라이다 센서(120)를 이용하여 제2 뎁스 정보를 획득할 수 있다. 이하에서, 제1 뎁스 정보는, 뎁스 카메라(110)를 통해 획득되는 뎁스 정보를 의미하며, 제2 뎁스 정보는, 라이다 센서(120)를 통해 획득되는 뎁스 정보를 의미한다.
한편, 뎁스 카메라(110) 및 라이다 센서(120)는 측정 범위가 상이할 수 있다. 예로, 라이다 센서(120)가 2D 라이다 센서인 경우, 도 1a에 도시된 바와 같이 뎁스 카메라(110)는 라이다 센서(120)에 넓은 범위에 대해 뎁스 정보를 획득할 수 있다. 또한, 뎁스 카메라(110) 및 라이다 센서(120)로부터 각각 획득되는 뎁스 정보의 정확도는 서로 상이할 수 있다. 예로, 라이다 센서(120)를 통해 획득되는 제2 뎁스 정보의 정확도는 뎁스 카메라(110)를 통해 획득되는 제1 뎁스 정보의 정확도보다 클 수 있다.
이에 따라, 로봇(100)은 상대적으로 정확도가 높은 제2 뎁스 정보를 이용하여 제1 뎁스 정보를 보정하는 동작을 수행할 수 있다. 도 1b는 본 개시의 일 실시 예에 따른 뎁스 카메라 및 라이다 센서의 센싱값을 나타내는 그래프이다. 로봇(100)은 라이다 센서(120)를 통해 획득된 제2 뎁스 정보(12)를 바탕으로 뎁스 카메라(110)를 통해 획득된 제1 뎁스 정보(11)를 보정하여 제3 뎁스 정보(13)를 획득할 수 있다.
예를 들어, 로봇(100)은 제1 뎁스 정보(11) 중 제2 뎁스 정보(12)에 대응되는 뎁스 정보를 제2 뎁스 정보(12)로 변경할 수 있다. 여기서, 제2 뎁스 정보(12)에 대응되는 뎁스 정보란, 제2 뎁스 정보(12)와 대응되는 위치(x, y)에 대한 제1 뎁스 정보(11)를 의미한다. 이하에서, 뎁스 카메라(110)를 통해 획득되는 뎁스 이미지에서 제2 뎁스 정보(12)에 대응되는 제1 뎁스 정보(11)를 포함하는 영역을 제1 영역이라 지칭하도록 한다. 즉, 로봇(100)은 제1 영역에 포함된 제1 뎁스 정보(11)를 제2 뎁스 정보(12)로 변경할 수 있다.
로봇(100)은 제2 뎁스 정보(12)를 바탕으로 제1 뎁스 이미지에서 제1 영역의 주변 영역인 보정 대상 영역(A)에 포함된 제1 뎁스 정보(11)를 보정할 수 있다. 예를 들어, 로봇(100)은 보정 대상 영역(A)에 포함된 제1 뎁스 정보(11)에 기정의된 필터를 적용할 수 있다. 여기서, 기정의된 필터는 복수의 가중치를 포함하는 행렬 또는 벡터를 의미할 수 있다. 예로, 기정의된 필터는 가우시안 커널(Gaussian kernel) 함수에 기초한 가중치를 가질 수 있다.
이와 같이, 로봇(100)은 제2 뎁스 정보(12)를 바탕으로 제1 뎁스 정보(11)를 보정하여 제3 뎁스 정보(13)를 획득할 수 있다. 이에 따라, 로봇(100)은 제1 뎁스 정보(11)에 비하여 정확도가 높으며, 제2 뎁스 정보(12)에 비해 넓은 범위에 대한 뎁스 정보를 획득할 수 있다. 이하에서는, 로봇(100)의 뎁스 정보 보정 동작에 대해 보다 상세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다. 로봇(100)은 뎁스 카메라(110), 라이다 센서(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 뎁스 카메라(110)는 뎁스 이미지를 획득하기 위한 구성으로, 스테레오(stereo) 방식, ToF(Time of Flight) 방식 및 구조광(structured light) 방식 중 적어도 하나로 구현될 수 있다.
라이다 센서(120)는 뎁스 정보를 획득하기 위한 구성으로, 기설정된 방향으로 레이저를 출력하는 출광부를 포함할 수 있다. 예로, 라이다 센서(120)의 출광부는 로봇(100)의 전방을 향해 레이저를 출력할 수 있다. 또한, 라이다 센서(120)는 출광부로부터 출력된 후 오브젝트로부터 반사된 레이저를 수신하는 수신부를 포함할 수 있다.
메모리(130)는 로봇(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 로봇(100)의 구성요소와 관련된 명령 또는 를 저장할 수 있다. 이를 위해 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다. 예로, 메모리(130)는 뎁스 카메라(110) 및 라이다 센서(120)의 설치 위치 및 설치 자세(또는 각도)에 관한 정보를 저장할 수 있다.
프로세서(140)는 로봇(100)의 전반적인 동작을 제어하기 위한 구성으로, 제1 뎁스 정보 획득 모듈(141), 제2 뎁스 정보 획득 모듈(142), 뎁스 정보 정합 모듈(143), 뎁스 차이 획득 모듈(144), 보정 여부 결정 모듈(145), 보정 대상 영역 식별 모듈(146), 필터 결정 모듈(147), 뎁스 정보 보정 모듈(148) 및 주행 경로 생성 모듈(149)을 포함할 수 있다.
제1 뎁스 정보 획득 모듈(141)은 뎁스 카메라(110)의 센싱값을 바탕으로 제1 뎁스 정보 및 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득할 수 있다. 여기서, 제1 뎁스 정보는 제1 뎁스 이미지의 각 픽셀에 대응되는 뎁스 값을 의미할 수 있다.
제2 뎁스 정보 획득 모듈(142)은 라이다 센서(120)의 센싱값을 바탕으로 제2 뎁스 정보를 획득할 수 있다. 예로, 제2 뎁스 정보 획득 모듈(142)은 라이다 센서(120)로부터 출력된 출사광의 출사 시점과 수신광의 수신 시점을 바탕으로 제2 뎁스 정보를 획득할 수 있다.
한편, 뎁스 카메라(110)와 라이다 센서(120)의 설치 위치는 상이하므로 이에 따라 제1 뎁스 정보 및 제2 뎁스 정보의 정합(align)이 필요할 수 있다. 예를 들어, 뎁스 정보 정합 모듈(143)은 메모리(130)에 저장된 뎁스 카메라(110) 및 라이다 센서(120)의 위치 정보를 바탕으로, 제1 뎁스 정보 및 제2 뎁스 정보를 정합할 수 있다. 그리고, 뎁스 정보 정합 모듈(143)은 제1 뎁스 정보 및 제2 뎁스 정보를 동일한 기준 좌표계로 매핑할 수 있다. 이 때, 뎁스 정보 정합 모듈(143)은 제1 뎁스 정보 및 제2 뎁스 정보 중 적어도 하나의 좌표를 이동시킬 수 있다.
뎁스 차이 획득 모듈(144)은 정합된 제1 뎁스 정보 및 제2 뎁스 정보를 비교하여 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이를 획득할 수 있다. 뎁스 차이 획득 모듈(144)은 기준 좌표계 상의 위치별 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이를 산출할 수 있다. 예를 들어, 뎁스 차이 획득 모듈(144)은 제1 위치(x1, y1)에 대한 제1 뎁스 정보(z1-1) 및 제2 뎁스 정보(z1-2)의 차이를 산출할 수 있다. 그리고, 뎁스 차이 획득 모듈(144)은 제2 위치(x2, y2)에 대한 제1 뎁스 정보(z2-1) 및 제2 뎁스 정보(z2-2)의 차이를 산출할 수 있다.
또한, 뎁스 차이 획득 모듈(144)은 기준 좌표계 상의 각 위치별 뎁스 차이의 평균을 산출할 수 있다. 예로, 제2 뎁스 정보가 존재하는 위치가 제1 위치(x1, y1) 및 제2 위치(x2, y2)뿐이라면, 뎁스 차이 획득 모듈(144)은 제1 위치(x1, y1)에서의 뎁스 차이와 제2 위치(x2, y2)에서의 뎁스 차이의 평균을 산출할 수 있다.
보정 여부 결정 모듈(145)은 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이를 바탕으로 제1 뎁스 정보의 보정 여부를 결정할 수 있다. 예를 들어, 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이의 평균이 임계값 보다 크면, 보정 여부 결정 모듈(145)은 제1 뎁스 정보에 대한 보정을 수행하도록 결정할 수 있다. 반면에, 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이의 평균이 임계값 보다 작으면, 보정 여부 결정 모듈(145)은 제1 뎁스 정보에 대한 보정을 수행하지 않도록 결정할 수 있다.
제1 뎁스 정보에 대한 보정을 수행하도록 결정되면, 보정 대상 영역 식별 모듈(146)은 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이의 평균값(이하, 뎁스 차이의 평균값이라 함)을 바탕으로 보정 대상 영역을 식별할 수 있다. 여기서, 보정 대상 영역은 기준 좌표계에서 제1 뎁스 정보에 대한 보정이 수행될 영역을 의미한다. 예로, 보정 대상 영역은 제2 뎁스 정보가 존재하는 영역의 주변 영역으로 설정될 수 있다. 또한, 보정 대상 영역 식별 모듈(146)은 뎁스 차이의 평균값을 바탕으로 기정의된 수학식에 기초하여 보정 대상 영역을 식별할 수 있다. 예를 들어, 보정 대상 영역의 범위는 뎁스 차이의 평균값이 커질수록 넓어질 수 있다. 즉, 뎁스 차이의 평균값이 커질수록, 프로세서(140)는 넓은 영역에 걸쳐 제1 뎁스 정보에 대한 보정을 수행할 수 있다.
제1 뎁스 정보에 대한 보정을 수행하도록 결정되면, 필터 결정 모듈(147)은 뎁스 차이의 평균값을 바탕으로 제1 뎁스 정보를 보정하기 위한 필터에 관한 정보를 결정할 수 있다. 여기서, 필터에 관한 정보는 필터의 크기 및 필터의 표준 편차 중 적어도 하나를 포함할 수 있다. 필터 결정 모듈(147)은 뎁스 차이의 평균값이 클수록, 크기가 큰 필터를 결정할 수 있다. 예를 들어, 뎁스 차이의 평균값이 제1 값일 때 필터의 크기는 제1 크기(3x3)이며, 뎁스 차이의 평균값이 제1 값보다 큰 제2 값일 때, 필터의 크기는 제1 크기보다 큰 제2 크기(4x4)일 수 있다. 또한, 필터 결정 모듈(147)은 뎁스 차이의 평균값이 클수록, 표준 편차가 큰 필터를 결정할 수 있다.
뎁스 정보 보정 모듈(148)은 정합된 제1 뎁스 정보 및 제2 뎁스 정보, 보정 대상 영역, 필터를 바탕으로 제1 뎁스 정보에 대한 보정을 수행할 수 있다. 예를 들어, 뎁스 정보 보정 모듈(148)은 필터를 바탕으로 보정 대상 영역에 포함된 제1 뎁스 정보 및 제1 뎁스 정보의 주변 영역에 대한 뎁스 정보에 적용될 가중치를 획득할 수 있다. 그리고, 뎁스 정보 보정 모듈(148)은 제1 뎁스 정보 및 제1 뎁스 정보의 주변 영역에 대한 뎁스 정보에 대해 획득된 가중치를 적용하여 제1 뎁스 정보를 보정할 수 있다. 여기서, 제1 뎁스 정보의 주변 영역은 필터의 크기를 바탕으로 정해질 수 있다. 제1 뎁스 정보를 보정하는 방법에 대한 보다 상세한 설명은 도 3 및 도 4를 참조하여 후술하도록 한다. 한편, 이하에서 특별한 언급이 없는 한 제1 뎁스 정보 및 제2 뎁스 정보는 뎁스 정보 정합 모듈(143)을 통해 정합된 뎁스 정보를 의미한다.
주행 경로 생성 모듈(149)은 뎁스 정보 보정 모듈(148)을 통해 획득된 뎁스 정보를 바탕으로 로봇(100)의 주행 경로를 생성할 수 있다. 예를 들어, 주행 경로 생성 모듈(149)은 주변 오브젝트에 대한 뎁스 정보를 바탕으로 오브젝트를 우회하는 주행 경로를 생성할 수 있다. 또는, 주행 경로 생성 모듈(149)은 오브젝트에 대한 뎁스 정보를 바탕으로 오브젝트로부터 기설정된 거리 이내로 근접하기 위한 동작을 수행할 수 있다. 한편, 뎁스 정보 보정 모듈(148)을 통해 뎁스 정보의 정확도가 향상되므로, 주행 경로 생성 모듈(149)은 최적의 주행 경로를 생성할 수 있고, 이에 따라 로봇(100)의 주행 효율이 향상될 수 있다.
한편, 본 개시에서는 로봇(100)이 뎁스 정보를 바탕으로 주행 경로를 생성하고 생성된 주행 경로를 따라 주행하는 것을 중심으로 설명하나, 로봇(100)은 뎁스 정보를 바탕으로 다양한 동작을 수행할 수 있다. 예로, 로봇(100)은 뎁스 정보를 바탕으로 사용자와 인터랙션(interaction)을 수행하기 위해 암(arm)을 사용자의 신체 일부(예로, 손)로 이동시킬 수 있다. 이 때, 뎁스 정보의 정확도가 향상되면, 로봇(100)은 기설정된 위치(예로, 사용자 손으로부터 5cm 이격된 위치)로 정확히 암을 이동시킬 수 있다.도 3은 본 개시의 일 실시 예에 따른 뎁스 정보 보정 방법을 설명하기 위한 도면이다.
로봇(100)은 뎁스 카메라(110)를 이용하여 제1 뎁스 정보(31)(또는 제1 뎁스 이미지)를 획득하고, 라이다 센서(120)를 이용하여 제2 뎁스 정보(32)를 획득할 수 있다.
로봇(100)은 제1 뎁스 정보(31) 및 제2 뎁스 정보(32)의 뎁스 차이를 획득할 수 있다. 예를 들어, 로봇(100)은 제2 뎁스 정보(32)와 제2 뎁스 정보(32)가 존재하는 위치((1,1),(2,2),(3,3),(2,4))에 대응되는 제1 뎁스 정보(31)의 차이를 획득할 수 있다. 그리고, 로봇(100)은 각 위치((1,1),(2,2),(3,3),(2,4))별 뎁스 차이의 평균을 산출할 수 있다.
뎁스 차이의 평균이 임계값보다 크면, 로봇(100)은 제2 뎁스 정보(32)를 바탕으로 제1 뎁스 정보(31)를 보정하여 제3 뎁스 정보(33)를 획득할 수 있다. 예를 들어, 로봇(100)은 제2 뎁스 정보(32)가 존재하는 위치((1,1),(2,2),(3,3),(2,4)) 각각에 대한 제1 뎁스 정보(31)를 제2 뎁스 정보(32)로 변경 또는 치환할 수 있다. 전술한 바와 같이, 라이다 센서(120)의 정확도가 뎁스 카메라(110)의 정확도보다 높으므로, 로봇(100)은 제1 뎁스 정보(31) 중 제2 뎁스 정보(32)가 존재하는 영역에 대해서는, 제1 뎁스 정보(31)를 제2 뎁스 정보(32)로 치환할 수 있다. 한편, 제3 뎁스 정보(33)는 제1 뎁스 정보(31) 및 제2 뎁스 정보(32)가 융합(fusion)된 뎁스 정보이며, 아래 [수학식 1]로 표현될 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
는 제1 뎁스 정보(31)를
Figure pat00003
는 제2 뎁스 정보(32)를
Figure pat00004
는 제1 뎁스 정보(31) 및 제2 뎁스 정보(32)가 융합된 뎁스 정보를 각각 지칭한다.
Figure pat00005
은 라이다 센서(120)의 센싱값이 존재하는 (x,y)좌표들의 집합이다.
도 3에서는 로봇(100)이 제2 뎁스 정보(32)가 존재하는 영역에 대해 뎁스 보정을 수행하여 제1 뎁스 정보(31) 및 제2 뎁스 정보(32)가 융합된 뎁스 정보를 획득하는 동작에 대해 설명하였다. 한편, 로봇(100)은 제2 뎁스 정보(32)가 존재하는 영역뿐만 아니라 제2 뎁스 정보(32)가 존재하는 영역의 주변 영역에 대해서도 뎁스 보정을 수행할 수 있다.
도 4a는 본 개시의 일 실시 예에 따른 뎁스 보정 방법을 설명하기 위한 도면이다. 제1 뎁스 정보 및 제2 뎁스 정보가 융합된 뎁스 정보(41)는 제1 영역(A1), 제2 영역(A2) 및 제3 영역(B)을 포함할 수 있다. 제1 영역(A1) 및 제2 영역(A2)은 보정이 수행될 보정 대상 영역을 의미한다. 특히, 제1 영역(A1)은 라이다 센서(120)를 통해 획득되는 제2 뎁스 정보에 대응되는 영역을 의미한다. 또한, 제3 영역(B)은 보정이 수행되지 않는 영역을 의미한다.
한편, 로봇(100)은 제1 영역(A1)에 대한 위치 정보와 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이를 바탕으로 제2 영역(A2)을 결정할 수 있다. 예를 들어, 제2 영역(A2)은 제1 영역(A1)을 중심으로 형성되되, 뎁스 차이가 클수록 범위가 넓어지도록 형성될 수 있다. 이에 따라, 로봇(100)은 뎁스 차이가 클수록 넓은 범위에 걸쳐 제1 뎁스 정보에 대한 보정을 수행할 수 있다. 즉, 로봇(100)은 뎁스 차이가 클수록 제1 뎁스 정보의 오차가 크다고 판단하여 넓은 범위에 걸쳐 제1 뎁스 정보에 대한 보정을 수행할 수 있다.
한편, 각 영역별 뎁스 정보는 다음과 같다. 먼저, 전술한 바와 같이 제1 영역(A1)에 포함된 제1 뎁스 정보는 제2 뎁스 정보로 치환될 수 있다. 따라서, 제1 영역(A1)에 대한 뎁스 정보는 제2 뎁스 정보(
Figure pat00006
)가 될 수 있다. 또한, 제3 영역(B)은 보정이 수행되지 않는 영역이므로, 제3 영역(B)에 대한 정보는 제1 뎁스 정보(
Figure pat00007
)가 될 수 있다.
한편, 로봇(100)은 제2 영역(A2)에 포함된 뎁스 정보에 대해서는 필터를 적용하여 제2 영역(A2)에 포함된 제1 뎁스 정보를 보정할 수 있다. 도 4b는 본 개시의 일 실시 예에 따른 제2 영역(A2)에 포함된 제1 뎁스 정보를 보정하는 방법을 설명하기 위한 도면이다. 예로, 로봇(100)은 제2 영역(A2)에 포함된 제1 뎁스 정보(d2)에 대한 보정을 수행할 수 있다. 이 때, 로봇(100)은 제1 뎁스 정보(d2)를 중심으로 가중치를 포함하는 필터(42)를 적용하여 제1 뎁스 정보(d2)에 대한 보정을 수행할 수 있다. 구체적으로, 보정된 제1 뎁스 정보(d2')는 가중치(0.3, 0.4, 0.3)가 각각 적용된 제1 뎁스 정보(d1, d2) 및 제2 뎁스 정보(d3)의 합이 될 수 있다. 이와 같이, 로봇(100)은 필터(42)를 이용하여 제2 영역(A2)에 포함된 제1 뎁스 정보를 보정할 수 있으며, 보정이 완료된 제1 뎁스 정보는 아래 [수학식 2]와 같이 표현될 수 있다.
[수학식 2]
Figure pat00008
여기서,
Figure pat00009
는 [수학식 1]의 융합된 뎁스 정보,
Figure pat00010
은 라이다 센서(120)의 센싱값이 존재하는 (x,y)좌표들의 집합,
Figure pat00011
는 제1 뎁스 정보가 존재하는 (x,y)좌표들의 집합이다. 또한,
Figure pat00012
는 제2 영역(A2)에 포함된 (x,y)좌표들의 집합이다.
Figure pat00013
는 뎁스 정보에 적용되는 가중치,
Figure pat00014
는 필터에 대응되는 커널 함수,
Figure pat00015
는 멀티플라이어(multiplier)이다.
한편, 로봇(100)은 아래 [수학식 3]과 같이 라이다 센서(120)의 센싱값이 존재하는 영역에 대한 뎁스 정보(즉 제2 뎁스 정보)에만 필터의 가중치를 적용하여 제2 영역(A2)에 포함된 제1 뎁스 정보를 보정할 수 있다. 도 4b를 예로 들면, 로봇(100)은 제1 뎁스 정보(d2)에 대한 보정을 수행할 때, 제2 뎁스 정보(d3)에 대해서만 가중치를 적용할 수 있다.
[수학식 3]
Figure pat00016
여기서, 뎁스 정보에 대한 가중치는 아래 [수학식 4]를 만족하도록 결정될 수 있다.
[수학식 4]
Figure pat00017
한편, 도 4b에서는 필터(42)가 1차원인 것을 예로 들었으나, 필터(42)는 2차원일 수 있다. 도 4c는 본 개시의 다른 일 실시 예에 따른 제2 영역(A2)에 포함된 제1 뎁스 정보를 보정하는 방법을 설명하기 위한 도면이다. 예로, 로봇(100)은 [수학식 2]를 바탕으로 제2 영역(A2)에 포함된 제1 뎁스 정보(d5)에 대한 보정을 수행할 수 있다. 이 때, 로봇(100)은 제1 뎁스 정보(d5)를 중심으로 가중치를 포함하는 필터(42)를 적용하여 제1 뎁스 정보(d5)에 대한 보정을 수행할 수 있다. 구체적으로, 보정된 제1 뎁스 정보(d5')는 가중치(0.1, 0.1, 0.1, 0.1, 0.2, 0.1, 0.1, 0.1, 0.1)가 각각 적용된 제1 뎁스 정보(d1~d6) 및 제2 뎁스 정보(d7~d9)의 합이 될 수 있다.
한편, 이상에서는 로봇(100)이 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이의 평균을 바탕으로 하나의 필터를 결정하고, 결정된 필터를 바탕으로 제1 뎁스 정보에 대한 보정을 수행하는 것으로 설명하였다. 즉, 로봇(100)은 한 프레임의 제1 뎁스 이미지에 포함된 제1 뎁스 정보를 보정할 때, 동일한 필터를 이용하여 보정하였다.
다만, 로봇(100)으로부터 거리가 멀수록, 제1 뎁스 정보의 오차가 증가하는 경향이 있다. 즉, 로봇(100)으로부터 거리가 멀수록 제1 뎁스 정보 및 제2 뎁스 정보의 차이가 커질 수 있다. 따라서, 로봇(100)은 로봇(100)으로부터의 거리에 따라 정의되는 복수의 뎁스 구간 별로 별개의 필터를 적용함으로써 보정된 뎁스 정보의 정확도를 향상시킬 수 있다. 즉, 제1 뎁스 정보 전체에 대해 동일한 필터를 적용하여 획득된 뎁스 정보보다 뎁스 구간 마다 별개의 필터를 적용하여 획득된 뎁스 정보의 정확도가 높을 수 있다.
도 5는 본 개시의 일 실시 예에 따른 뎁스 정보를 x-z평면에 도시한 그래프이다. 로봇(100)은 복수의 뎁스 구간(
Figure pat00018
,
Figure pat00019
,
Figure pat00020
,
Figure pat00021
)마다 대응되는 복수의 필터(
Figure pat00022
,
Figure pat00023
,
Figure pat00024
,
Figure pat00025
)를 획득할 수 있다. 예를 들어, 로봇(100)은 제1 구간(
Figure pat00026
)에서의 제1 뎁스 정보(
Figure pat00027
) 및 제2 뎁스 정보(
Figure pat00028
)의 뎁스 차이의 평균값을 획득하고, 획득된 평균값을 바탕으로 제1 필터(
Figure pat00029
)를 획득할 수 있다. 또한, 로봇(100)은 제2 구간(
Figure pat00030
)에서의 제1 뎁스 정보(
Figure pat00031
) 및 제2 뎁스 정보(
Figure pat00032
)의 뎁스 차이의 평균값을 획득하고, 획득된 평균값을 바탕으로 제2 필터(
Figure pat00033
)를 획득할 수 있다. 마찬가지로, 로봇(100)은 제3 구간(
Figure pat00034
) 및 제4 구간(
Figure pat00035
)에 각각 대응되는 제3 필터(
Figure pat00036
) 및 제4 필터(
Figure pat00037
)를 획득할 수 있다. 이 때, 각 뎁스 구간 별 뎁스 차이의 평균값에 따라, 각 필터들의 크기나 표준 편차가 달라질 수 있다.
이처럼, 로봇(100)은 한 프레임의 뎁스 이미지 내에서도 뎁스 구간마다 별개의 필터를 적용하여 제1 뎁스 정보를 보정할 수 있다. 이에 따라, 로봇(100)은 정확도가 향상된 뎁스 정보를 획득할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 로봇의 구성을 도시한 블록도이다. 로봇(600)은 뎁스 카메라(610), 라이다 센서(620), 카메라(630), 주행부(640), 통신 인터페이스(650), 메모리(660) 및 프로세서(670)를 포함할 수 있다.
뎁스 카메라(610) 및 라이다 센서(620)는 도 2의 뎁스 카메라(110) 및 라이다 센서(120)에 대응될 수 있다. 따라서, 프로세서(670)는 뎁스 카메라(610) 및 라이다 센서(620)를 이용하여 뎁스 정보를 획득할 수 있다.
카메라(630)는 로봇(600) 주변에 대한 이미지를 획득하기 위한 구성이다. 프로세서(670)는 카메라(630)를 통해 획득된 이미지에 포함된 오브젝트를 식별할 수 있다. 이를 위해, 프로세서(670)는 오브젝트 인식 모듈을 포함할 수 있다.
주행부(640)는 로봇(600)을 이동시키기 위한 구성일 수 있다. 특히, 주행부(640)는 로봇(600)의 주행을 위한 액츄에이터(actuator)를 포함할 수 있다. 또한, 주행부(640) 이외에 로봇(600)의 다른 물리적 구성(예로, 암(arm) 등)의 모션을 구동하기 위한 액츄에이터가 포함될 수 있다. 예로, 로봇(600)은 식별된 오브젝트를 향해 이동하거나 움직이도록 액츄에이터를 제어할 수 있다. 또는, 로봇(600)은 식별된 오브젝트를 우회하여 움직이도록 액츄에이터를 제어할 수 있다.
통신 인터페이스(650)는 적어도 하나의 회로를 포함하며 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(650)는 외부 서버 또는 사용자 단말과 통신을 수행할 수 있다. 또한, 통신 인터페이스(650)는 다양한 유형의 통신 방식에 따라 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(650)는 무선 혹은 유선으로 데이터 통신을 수행할 수 있다. 무선 통신 방식으로 외부 기기와 통신을 수행할 경우, 통신 인터페이스(650)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 한편, 본 개시의 일 실시예에 따른, 통신 인터페이스(650)는 무선 통신 모듈로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 유선 통신 모듈(예를 들어, LAN 등)로 구현될 수 있다.
메모리(660)는 로봇(600)의 구성요소들의 동작을 제어하기 위한 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(660)는 도 2의 메모리(130)에 대응될 수 있다.
프로세서(670)는 로봇(600)의 전반적인 동작을 제어하기 위한 구성이다. 예를 들어, 프로세서(670)는 뎁스 카메라(610)를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득하고, 라이다 센서(620)를 이용하여 제1 뎁스 이미지의 제1 영역에 대응되는 제2 뎁스 정보를 획득할 수 있다. 예로, 제1 뎁스 이미지의 제1 영역은 도 4a의 제1 영역(A1)일 수 있다.
프로세서(670)는 제2 뎁스 정보와 제1 영역에 포함된 제1 뎁스 정보의 뎁스 차이를 획득할 수 있다. 프로세서(670)는 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이의 평균을 산출할 수 있다.
뎁스 차이가 임계값보다 크면, 프로세서(670)는 제2 뎁스 정보를 이용하여 제1 뎁스 정보에 대해 보정을 수행할 수 있다. 프로세서(670)는 제1 영역 주위의 보정 대상 영역을 식별할 수 있다. 이 때, 보정 대상 영역은 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이의 평균을 바탕으로 결정될 수 있다. 예를 들어, 뎁스 차이가 제1 값인 경우, 프로세서(670)는 제1 영역으로부터 제1 범위를 보정 대상 영역으로 식별할 수 있다. 그리고, 뎁스 차이가 제1 값보다 큰 제2 값인 경우, 프로세서(670)는 제1 영역으로부터 제1 범위 보다 큰 제2 범위를 보정 대상 영역으로 식별할 수 있다.
또한, 프로세서(670)는 뎁스 차이를 바탕으로 제1 뎁스 정보를 보정하기 위한 필터에 대한 정보를 획득할 수 있다. 이 때, 프로세서(670)는 뎁스 차이를 바탕으로 필터의 파라미터(예로, 크기)를 획득할 수 있다. 예를 들어, 뎁스 차이가 기설정된 값보다 작으면, 프로세서(670)는 제1 크기의 필터를 획득할 수 있다. 그리고, 뎁스 차이가 기설정된 값보다 크면, 프로세서(670)는 제1 크기보다 큰 제2 크기의 필터를 획득할 수 있다.
한편, 프로세서(670)는 로봇(600)으로부터의 거리를 바탕으로 필터에 대한 정보를 획득할 수 있다. 예를 들어, 프로세서(670)는 로봇(600)으로부터의 거리에 따라 정해진 복수의 거리 구간 별 제 1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이를 획득할 수 있다. 그리고, 프로세서(670)는 각 거리 구간 별 뎁스 차이를 바탕으로 각 거리 구간 별 필터에 대한 정보를 획득할 수 있다.
보정 대상 영역이 식별되고 필터에 대한 정보가 획득되면, 프로세서(670)는 제1 뎁스 정보, 제2 뎁스 정보 및 필터에 대한 정보를 바탕으로 보정 대상 영역에 대응되는 제1 뎁스 정보를 보정할 수 있다. 프로세서(670)는 보정 대상 영역에 포함된 제1 뎁스 정보에 필터를 적용하여 제1 뎁스 정보를 보정할 수 있다. 이에 따라, 프로세서(670)는 보정된 제1 뎁스 정보를 포함하는 제2 뎁스 이미지를 획득할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 블록도이다. 로봇(600)은 제1 뎁스 정보 및 제2 뎁스 정보를 획득하고(S710), 제1 뎁스 정보 및 제2 뎁스 정보의 뎁스 차이를 획득할 수 있다(S720). 그리고, 로봇(600)은 획득된 뎁스 차이가 임계값보다 큰 지 여부를 판단할 수 있다(S730).
뎁스 차이가 임계값보다 크면, 로봇(600)은 제1 뎁스 정보를 보정하여 제3 뎁스 정보를 획득하고(S740). 이 때, 로봇(600)은 뎁스 차이를 바탕으로 획득된 필터를 제1 뎁스 정보에 적용하여 제3 뎁스 정보를 획득할 수 있다. 그리고, 로봇(600)은 제3 뎁스 정보를 바탕으로 로봇(600)의 주행 정보를 획득할 수 있다(S750). 뎁스 차이가 임계값보다 작으면, 로봇(600)은 제1 뎁스 정보에 대한 보정을 수행하지 않으며, 제1 뎁스 정보를 바탕으로 주행 정보를 획득할 수 있다(S760). 예로, 로봇(600)은 제1 뎁스 정보 또는 제3 뎁스 정보를 바탕으로 로봇(600)의 주행 경로를 생성할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 로봇의 제어 방법을 도시한 블록도이다. 로봇(600)은 로봇에 포함된 뎁스 카메라를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득하고, 로봇에 포함된 라이다 센서를 이용하여 제1 뎁스 이미지의 제1 영역에 대응되는 제2 뎁스 정보를 획득할 수 있다(S810). 그리고, 로봇(600)은 제2 뎁스 정보와 제1 영역에 포함된 제1 뎁스 정보의 뎁스 차이를 획득할 수 있다(S820). 뎁스 차이가 임계값보다 크면, 로봇(600)은 제1 영역 주위의 보정 대상 영역을 식별할 수 있다(S830). 그리고, 로봇(600)은 뎁스 차이를 바탕으로 제1 뎁스 정보를 보정하기 위한 필터에 대한 정보를 획득할 수 있다(S840). 로봇(600)은 제1 뎁스 정보, 제2 뎁스 정보 및 필터에 대한 정보를 바탕으로 보정 대상 영역에 대응되는 제1 뎁스 정보를 보정하여 제2 뎁스 이미지를 획득할 수 있다(S850). 이 때, 로봇(600)은 필터를 바탕으로 식별된 가중치를 제1 뎁스 정보 및 제2 뎁스 정보에 적용할 수 있다. 그리고, 로봇(600)은 제2 뎁스 이미지를 바탕으로 로봇의 주행 경로를 생성할 수 있다(S860).
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100, 600: 로봇　　　　　　　　　110, 610: 뎁스 카메라
120, 620: 라이다 센서 130, 660: 메모리
630: 카메라 640: 주행부
650: 통신 인터페이스

Claims (15)

  1. 로봇에 있어서,
    뎁스 카메라;
    라이다 센서;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 뎁스 카메라를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득하고, 상기 라이다 센서를 이용하여 상기 제1 뎁스 이미지의 제1 영역에 대응되는 제2 뎁스 정보를 획득하고,
    상기 제2 뎁스 정보와 상기 제1 영역에 포함된 상기 제1 뎁스 정보의 뎁스 차이를 획득하고,
    상기 뎁스 차이가 임계값보다 크면, 상기 제1 영역 주위의 보정 대상 영역을 식별하고,
    상기 뎁스 차이를 바탕으로 상기 제1 뎁스 정보를 보정하기 위한 필터에 대한 정보를 획득하고,
    상기 제1 뎁스 정보, 상기 제2 뎁스 정보 및 상기 필터에 대한 정보를 바탕으로 상기 보정 대상 영역에 대응되는 상기 제1 뎁스 정보를 보정하여 제2 뎁스 이미지를 획득하는
    로봇.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 뎁스 차이가 제1 값인 경우, 상기 제1 영역으로부터 제1 범위를 상기 보정 대상 영역으로 식별하고,
    상기 뎁스 차이가 상기 제1 값보다 큰 제2 값인 경우, 상기 제1 영역으로부터 상기 제1 범위 보다 큰 제2 범위를 상기 보정 대상 영역으로 식별하는
    로봇.
  3. 제1 항에 있어서,
    상기 필터는 복수의 가중치를 포함하는 행렬이고,
    상기 필터에 대한 정보는,
    상기 필터의 크기 및 상기 필터의 표준 편차 중 적어도 하나를 포함하는
    로봇.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 뎁스 차이가 기설정된 값보다 작으면, 제1 크기의 상기 필터를 획득하는 단계, 및
    상기 뎁스 차이가 상기 기설정된 값보다 크면, 상기 제1 크기보다 큰 제2 크기의 상기 필터를 획득하는
    로봇.
  5. 제1 항에 있어서,
    상기 프로세서는,
    상기 제2 뎁스 정보와 상기 보정 대상 영역의 주변 영역에 대응되는 상기 제1 뎁스 정보에 상기 필터에 포함된 가중치를 적용하여 상기 보정 대상 영역에 대응되는 상기 제1 뎁스 정보를 보정하는
    로봇.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 뎁스 카메라 및 상기 라이다 센서의 설치 위치를 바탕으로 상기 제1 뎁스 정보 및 상기 제2 뎁스 정보를 기준 좌표계로 매핑하고,
    상기 기준 좌표계상에서 상기 제2 뎁스 정보와 상기 제1 영역에 대응되는 상기 제1 뎁스 정보의 차이의 평균값을 상기 뎁스 차이로 획득하는
    로봇.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 로봇으로부터의 거리에 따라 정해진 복수의 거리 구간에 각각 대응되는 상기 제1 뎁스 정보 및 상기 제2 뎁스 정보의 차이를 획득하고,
    상기 복수의 거리 구간 별 상기 뎁스 차이를 바탕으로, 상기 복수의 거리 구간 각각에 대응되는 상기 필터에 대한 정보를 획득하고,
    상기 복수의 거리 구간 별 상기 필터에 대한 정보를 바탕으로 상기 보정 대상 영역에 대응되는 상기 제1 뎁스 정보를 보정하는
    로봇.
  8. 제1 항에 있어서,
    상기 필터는 가우시안 커널(Gaussian kernel) 함수에 대응되는
    로봇.
  9. 로봇의 제어 방법에 있어서,
    상기 로봇에 포함된 뎁스 카메라를 이용하여 제1 뎁스 정보를 포함하는 제1 뎁스 이미지를 획득하고, 상기 로봇에 포함된 라이다 센서를 이용하여 상기 제1 뎁스 이미지의 제1 영역에 대응되는 제2 뎁스 정보를 획득하는 단계;
    상기 제2 뎁스 정보와 상기 제1 영역에 포함된 상기 제1 뎁스 정보의 뎁스 차이를 획득하는 단계;
    상기 뎁스 차이가 임계값보다 크면, 상기 제1 영역 주위의 보정 대상 영역을 식별하는 단계;
    상기 뎁스 차이를 바탕으로 상기 제1 뎁스 정보를 보정하기 위한 필터에 대한 정보를 획득하는 단계;
    상기 제1 뎁스 정보, 상기 제2 뎁스 정보 및 상기 필터에 대한 정보를 바탕으로 상기 보정 대상 영역에 대응되는 상기 제1 뎁스 정보를 보정하여 제2 뎁스 이미지를 획득하는 단계; 및
    상기 제2 뎁스 이미지를 바탕으로 상기 로봇의 주행 경로를 생성하는 단계;를 포함하는
    제어 방법.
  10. 제9 항에 있어서,
    상기 보정 대상 영역을 식별하는 단계는,
    상기 뎁스 차이가 제1 값인 경우, 상기 제1 영역으로부터 제1 범위를 상기 보정 대상 영역으로 식별하고,
    상기 뎁스 차이가 상기 제1 값보다 큰 제2 값인 경우, 상기 제1 영역으로부터 상기 제1 범위 보다 큰 제2 범위를 상기 보정 대상 영역으로 식별하는
    제어 방법.
  11. 제9 항에 있어서,
    상기 필터는 복수의 가중치를 포함하는 행렬이고,
    상기 필터에 대한 정보는,
    상기 필터의 크기 및 상기 필터의 표준 편차 중 적어도 하나를 포함하는
    제어 방법.
  12. 제9 항에 있어서,
    상기 필터에 대한 정보를 획득하는 단계는,
    상기 뎁스 차이가 기설정된 값보다 작으면, 제1 크기의 상기 필터를 획득하는 단계, 및
    상기 뎁스 차이가 상기 기설정된 값보다 크면, 상기 제1 크기보다 큰 제2 크기의 상기 필터를 획득하는 단계를 포함하는
    제어 방법.
  13. 제9 항에 있어서,
    상기 제2 뎁스 이미지를 획득하는 단계는,
    상기 제2 뎁스 정보와 상기 보정 대상 영역의 주변 영역에 대응되는 상기 제1 뎁스 정보에 상기 필터에 포함된 가중치를 적용하여 상기 보정 대상 영역에 대응되는 상기 제1 뎁스 정보를 보정하는 단계를 포함하는
    제어 방법.
  14. 제9 항에 있어서,
    상기 뎁스 차이를 획득하는 단계는,
    상기 뎁스 카메라 및 상기 라이다 센서의 설치 위치를 바탕으로 상기 제1 뎁스 정보 및 상기 제2 뎁스 정보를 기준 좌표계로 매핑하는 단계, 및
    상기 기준 좌표계상에서 상기 제2 뎁스 정보와 상기 제1 영역에 대응되는 상기 제1 뎁스 정보의 차이의 평균값을 상기 뎁스 차이로 획득하는 단계를 포함하는
    제어 방법.
  15. 제9 항에 있어서,
    상기 뎁스 차이를 획득하는 단계는,
    상기 로봇으로부터의 거리에 따라 정해진 복수의 거리 구간에 각각 대응되는 상기 제1 뎁스 정보 및 상기 제2 뎁스 정보의 차이를 획득하고,
    상기 필터에 대한 정보를 획득하는 단계는,
    상기 복수의 거리 구간 별 상기 뎁스 차이를 바탕으로, 상기 복수의 거리 구간 각각에 대응되는 상기 필터에 대한 정보를 획득하고,
    상기 제2 뎁스 이미지를 획득하는 단계는,
    상기 복수의 거리 구간 별 상기 필터에 대한 정보를 바탕으로 상기 보정 대상 영역에 대응되는 상기 제1 뎁스 정보를 보정하는
    제어 방법.
KR1020200153000A 2020-11-16 2020-11-16 로봇 및 그 제어 방법 KR20220066690A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200153000A KR20220066690A (ko) 2020-11-16 2020-11-16 로봇 및 그 제어 방법
PCT/KR2021/000222 WO2022102870A1 (ko) 2020-11-16 2021-01-08 로봇 및 그 제어 방법
US18/191,467 US20230229171A1 (en) 2020-11-16 2023-03-28 Robot and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200153000A KR20220066690A (ko) 2020-11-16 2020-11-16 로봇 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220066690A true KR20220066690A (ko) 2022-05-24

Family

ID=81601443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200153000A KR20220066690A (ko) 2020-11-16 2020-11-16 로봇 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20230229171A1 (ko)
KR (1) KR20220066690A (ko)
WO (1) WO2022102870A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180136294A (ko) * 2017-06-14 2018-12-24 엘지전자 주식회사 외부광을 반영하여 객체의 뎁스를 센싱하는 방법 및 이를 구현하는 장치
KR102444568B1 (ko) * 2017-07-27 2022-09-16 엘지전자 주식회사 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법 및 이를 구현하는 로봇
KR102135560B1 (ko) * 2018-05-16 2020-07-20 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체
KR101976290B1 (ko) * 2017-12-13 2019-05-07 연세대학교 산학협력단 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
CN111238465B (zh) * 2018-11-28 2022-02-18 台达电子工业股份有限公司 地图建置设备及其地图建置方法

Also Published As

Publication number Publication date
US20230229171A1 (en) 2023-07-20
WO2022102870A1 (ko) 2022-05-19

Similar Documents

Publication Publication Date Title
CN108377380B (zh) 影像扫描系统及其方法
JP5595677B2 (ja) 物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法
US20170300734A1 (en) Barcode scanning and dimensioning
CN107980138B (zh) 一种虚警障碍物检测方法及装置
US20170336195A1 (en) Dimension measurement device and dimension measurement method
KR20160003776A (ko) 자세 추정 방법 및 로봇
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
US11762394B2 (en) Position detection apparatus, position detection system, remote control apparatus, remote control system, position detection method, and program
JPWO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
US20230177709A1 (en) Electronic device and method for controlling same
KR20220066690A (ko) 로봇 및 그 제어 방법
US10572753B2 (en) Outside recognition device for vehicle
US10735665B2 (en) Method and system for head mounted display infrared emitter brightness optimization based on image saturation
JP6491893B2 (ja) 自律走行制御システムとこれを用いる自律走行装置及び自律走行制御方法と制御プログラムと記録媒体
JP6783618B2 (ja) 情報表示装置、及びその処理制御方法
KR20200117460A (ko) 전자 장치 및 그의 발열 제어 방법
JP2019175423A (ja) 情報処理システムおよび情報処理方法
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
AU2020317303B2 (en) Information processing device, data generation method, and program
KR20220019930A (ko) 로봇 및 그 제어 방법
US20220018658A1 (en) Measuring system, measuring method, and measuring program
CN114830190A (zh) 将三维坐标与二维特征点相关联
CN111656404A (zh) 图像处理方法、系统及可移动平台

Legal Events

Date Code Title Description
A201 Request for examination