KR20210022941A - Slam을 구현하는 방법 및 전자 장치 - Google Patents

Slam을 구현하는 방법 및 전자 장치 Download PDF

Info

Publication number
KR20210022941A
KR20210022941A KR1020190102360A KR20190102360A KR20210022941A KR 20210022941 A KR20210022941 A KR 20210022941A KR 1020190102360 A KR1020190102360 A KR 1020190102360A KR 20190102360 A KR20190102360 A KR 20190102360A KR 20210022941 A KR20210022941 A KR 20210022941A
Authority
KR
South Korea
Prior art keywords
moving object
bias
information
moving
bias value
Prior art date
Application number
KR1020190102360A
Other languages
English (en)
Inventor
전경진
이혁중
전주환
김성주
Original Assignee
엘지전자 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 한국과학기술원 filed Critical 엘지전자 주식회사
Priority to KR1020190102360A priority Critical patent/KR20210022941A/ko
Priority to US16/703,137 priority patent/US11226206B2/en
Publication of KR20210022941A publication Critical patent/KR20210022941A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration

Abstract

SLAM을 구현하는 과정에서, 이동체의 선속도에 기초하여 확인되는 바이어스를 고려하여 이동체의 이동 거리를 계산하는 방법 및 이를 위한 전자 장치를 제공한다.
본 발명에서 개시하는, 전자 장치, 차량, 및 자율 주행 차량 중 하나 이상은 인공지능(Artificial Intelligence) 모듈, 드론(Unmmaned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(Virtual Reality, VR) 장치, 5G서비스와 관련된 장치 등과 연계될 수 있다.

Description

SLAM을 구현하는 방법 및 전자 장치{ELECTRONIC APPARATUS AND METHOD FOR IMPLEMENTING SLAM(Simultaneous Localization and Mapping)}
본 개시는 SLAM을 구현하는 방법 및 전자 장치에 관한 것이다. 보다 구체적으로 본 개시는 SLAM을 구현하는 과정에서, 이동체의 선속도에 기초하여 확인되는 바이어스를 고려하여 이동체의 이동 거리를 계산하는 방법 및 이를 위한 전자 장치에 관한 것이다.
SLAM(Simultaneous Localization and Mapping)은 이동체의 위치를 측정하면서 이동체의 주변 환경의 지도를 작성하는 작업을 의미하는 바, 이러한 SLAM에 대한 관심이 증가되고 있다. 또한, 이러한 SLAM을 보다 효과적으로 구현할 필요성이 존재한다.
또한, 자율 주행 차량은 차량 주변의 환경 및 차량 상태를 인식하고, 이에 따라 차량의 주행을 제어할 수 있는 자율 주행 장치가 탑재된 차량을 의미한다. 자율 주행 차량의 연구가 진행됨에 따라, 자율 주행 차량을 이용하여 사용자의 편의성을 증대시킬 수 있는 다양한 서비스에 관한 연구도 함께 진행 중에 있다.
개시된 실시 예들은 SLAM을 구현하는 방법 및 전자 장치를 개시하고자 한다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 발명의 일 실시 예에 따른, SLAM(Simultaneous Localization and Mapping)을 구현하는 방법은, 이동체의 선속도 및 회전각속도에 관한 정보를 획득하는 단계; 획득한 정보에 기초하여 이동체의 이동 거리 및 회전 각도를 계산하는 단계; 및 이동체의 이동 거리 및 회전 각도에 기초하여, SLAM을 위한 상태 정보(state information)를 업데이트하는 단계를 포함할 수 있고, 계산하는 단계는, 이동체의 선속도에 기초하여 확인되는 바이어스(bias)를 고려하여 이동체의 이동 거리를 계산하는 단계를 포함할 수 있다.
다른 일 실시 예에 따라, SLAM을 구현하는 전자 장치는, 적어도 하나의 프로그램이 저장된 메모리; 및 적어도 하나의 프로그램을 실행함으로써, 이동체의 선속도 및 회전각속도에 관한 정보를 획득하고, 획득한 정보에 기초하여 이동체의 이동 거리 및 회전 각도를 계산하고, 이동체의 이동 거리 및 회전 각도에 기초하여, SLAM을 위한 상태 정보를 업데이트하는 프로세서를 포함할 수 있고, 프로세서는, 이동체의 선속도에 기초하여 확인되는 바이어스(bias)를 고려하여 이동체의 이동 거리를 계산할 수 있다.
또 다른 실시예에 따라, SLAM을 구현하는 차량은, 차량의 선속도 및 회전각속도를 측정하는 센서; 및 센서로부터 차량의 선속도 및 회전각속도에 관한 정보를 획득하고, 획득한 정보에 기초하여 차량의 이동 거리 및 회전 각도를 계산하고, 차량의 이동 거리 및 회전 각도에 기초하여, SLAM을 위한 상태 정보(state information)를 업데이트하는 전자 장치를 포함할 수 있고, 전자 장치는 이동체의 선속도에 기초하여 확인되는 바이어스(bias)를 고려하여 이동체의 이동 거리를 계산할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 비휘발성 기록매체를 포함할 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시에 따르면, 전자 장치는, 이동체의 선속도에 비례하는 바이어스 값을 이용하여 바이어스가 제거된 이동체의 이동거리를 계산할 수 있는 바, 보다 정확하게 이동체의 이동거리를 계산할 수 있다. 따라서, 전자 장치는 보다 정확한 이동체의 이동거리를 통해 보다 정확하게 SLAM을 위한 상태 정보를 업데이트할 수 있다.
또한, 전자 장치는 이동체의 이동거리에 대한 바이어스 값 및 이동체의 회전각도 대한 바이어스 값 중 적어도 하나를 SLAM을 위한 상태 정보에 포함시킬 수 있고, 상태 정보에 포함된 적어도 하나의 바이어스값을 반복적으로 업데이트할 수 있는 바, 변화될 수 있는 바이어스를 보다 정확하게 모델링할 수 있으며, 그 결과 보다 정확하게 이동체의 이동거리 및 회전각도를 계산할 수 있다.
발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 AI 장치를 나타낸다.
도 2는 일 실시 예에 따른 AI 서버를 나타낸다.
도 3은 일 실시 예에 따른 AI 시스템을 나타낸다.
도 4는 본 개시에 따른 전자 장치를 나타낸다.
도 5는 프로세서가 바이어스를 고려하여 이동체의 이동거리 및 회전각도를 계산하고, SLAM을 위한 상태 정보를 업데이트하는 일 실시예를 나타낸다.
도 6은 프로세서가 바이어스를 고려하여 이동체의 이동거리 및 회전각도를 계산하고, SLAM을 위한 상태 정보를 업데이트하는 다른 실시예를 나타낸다.
도 7은 프로세서가 바이어스를 고려하여 이동체의 이동거리 및 회전각도를 계산하고, SLAM을 위한 상태 정보를 업데이트하는 또 다른 실시예를 나타낸다.
도 8은 본 개시에 따른 차량을 나타낸다.
도 9는 전자 장치가 SLAM을 구현하는 방법을 설명하기 위한 도면이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "..부" 및 "..모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 인공 지능(AI, Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수 값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
또한, 본 명세서에서 차량은 자율 주행 차량이 될 수 있다. 자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다. 또한, 자율 주행 차량은 차량 주변의 환경 및 차량 상태를 인식하고, 이에 따라 차량의 주행을 제어할 수 있는 자율 주행 장치가 탑재된 차량을 의미할 수 있다. 자율 주행 기능을 가진 로봇으로 볼 수 있다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
여기서 차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 AI 장치를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량, XR 장치 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, AI 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다. 그러나, 도 1에 도시된 구성 요소 모두가 AI 장치(100)의 필수 구성 요소인 것은 아니다. 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 AI 장치가 구현될 수도 있고, 도 1에 도시된 구성 요소보다 적은 구성 요소에 의해 AI 장치가 구현될 수도 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multiple Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)와 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다. 메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 일 실시 예에 따른 AI 서버를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 일 실시 예에 따른 AI 시스템을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)를 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
본 실시 예에 따른 자율 주행 차량(100b)은 AI 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
자율 주행 차량(100b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(100b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(100b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(100b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(100b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(100b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(100a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(100b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량(100b)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 자율 주행 차량(100b)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량(100b)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량(100b)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량(100b)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량(100b)을 주행시킬 수 있다.
맵 데이터에는 자율 주행 차량(100b)이 주행하는 공간(예컨대, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량(100b)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량(100b)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
도 4는 본 개시에 따른 전자 장치를 나타낸다.
전자 장치(400)는 프로세서(410) 및 메모리(420)를 포함한다. 도 4에 도시된 전자 장치(400)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 전자 장치(400)에는 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
전자 장치(400)는 SLAM(Simultaneous Localization and Mapping)을 구현할 수 있다. 다시 말해, 전자 장치(400)는 이동체(movable object)의 위치를 인식하면서 동시에 이동체의 주변 환경의 지도를 생성할 수 있다. 전자 장치(400)는 SLAM을 구현하는 과정에서, SLAM을 위한 상태 정보(state information)를 설정할 수 있고, 확률 필터를 통해 상태 정보를 반복적으로 업데이트할 수 있다. 예를 들어, 확률 필터는 확장 칼만 필터(Extended Kalman Filter)가 될 수 있다. 일 실시예에 따라, 전자 장치(400)는 이동체에 포함될 수 있다. 이동체는 로봇 또는 차량이 될 수 있으나, 이에 제한되지 않으며 다른 움직이는 물체 또한 될 수 있다.
프로세서(410)는 전자 장치(400)에서 SLAM을 구현하기 위한 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 프로세서(410)는 전자 장치(400) 내의 메모리(420)에 저장된 프로그램들을 실행함으로써, 전자 장치(400)를 전반적으로 제어한다. 프로세서(410)는 전자 장치(400) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
메모리(420)는 전자 장치(400) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 메모리(420)는 전자 장치(400)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(420)는 전자 장치(400)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(420)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
프로세서(410)는 이동체의 선속도 및 회전각속도에 관한 정보를 획득할 수 있다. 프로세서(410)는 센서에 의해 측정된 이동체의 선속도 및 회전각속도에 관한 정보를 센서로부터 획득할 수 있다. 구체적으로, 이동체가 이동하는 동안에, 이동체에 배치된 오도미터(odometer) 센서는 이동체의 선속도를 측정할 수 있고, 이동체에 배치된 요 레이트(yaw rate sensor)는 이동체의 회전각속도를 측정할 수 있다.
프로세서(410)는 획득된 정보에 기초하여 이동체의 이동거리 및 회전각도를 계산할 수 있다. 프로세서(410)는 이동체의 선속도에 기초하여 이동체의 이동거리를 계산할 수 있고, 이동체의 회전각속도에 기초하여 이동체의 회전각도를 계산할 수 있다. 구체적으로, 프로세서(410)는 센서에 의해 측정된 이동체의 선속도 및 이동체의 이동시간 간의 연산을 통해 이동체가 이동한 거리를 계산할 수 있고, 센서의 의해 측정된 이동체의 회전각속도 및 이동체의 이동시간 간의 연산을 통해 이동체가 회전한 각도를 계산할 수 있다. 또한, 프로세서(410)는 노이즈를 고려하여 이동체의 이동거리 및 회전각도를 계산할 수 있다.
이동체의 이동거리를 계산할 때, 프로세서(410)는 이동체의 선속도에 기초하여 확인되는 바이어스(bias)를 고려하여 이동체의 이동거리를 계산할 수 있다. 구체적으로, 프로세서(410)는, 이동체의 선속도에 비례하는 바이어스를 수학적으로 모델링하기 위해, 기 설정된 비례상수를 이용하여 이동체의 선속도에 비례하는 바이어스 값을 설정할 수 있다. 이어서, 프로세서(410)는, 이동체의 선속도에 기초하여 계산된 이동체의 이동거리에서 바이어스 값을 차감하여, 바이어스가 제거된 이동체의 이동거리를 계산할 수 있다. 다시 말해, 프로세서(410)는 바이어스가 제거된 이동체의 이동거리를 통해 이동체의 실제 이동거리를 추정할 수 있다.
이동체의 회전각도를 계산할 때, 프로세서(410)는 바이어스가 제거된 이동체의 회전각도를 계산할 수 있다. 구체적으로, 프로세서(410)는, 이동체의 회전각도에 대한 바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 바이어스 값을 설정할 수 있다. 이어서, 프로세서(410)는, 이동체의 회전각속도에 기초하여 계산된 이동체의 회전각도에서 바이어스 값을 차감하여, 바이어스가 제거된 이동체의 회전각도를 계산할 수 있다. 다시 말해, 프로세서(410)는 바이어스가 제거된 이동체의 회전각도를 통해 이동체의 실제 회전각도를 추정할 수 있다. 이동체의 회전각도에 대한 바이어스는 이동체의 종류, 이동체의 상태, 이동체 내의 탑승객 상태에 따라 달라질 수 있다.
프로세서(410)는 이동체의 이동거리 및 회전각도에 기초하여 SLAM을 위한 상태 정보(state information)를 업데이트할 수 있다. 다시 말해, 프로세서(410)는 SLAM의 일 과정인 예측(prediction) 과정을 수행할 수 있다. SLAM을 위한 상태 정보는 이동체의 위치 및 방향에 대한 정보 및 기 인식된 랜드마크(landmark)들의 위치에 대한 정보를 포함할 수 있다. 따라서, 프로세서(410)는 이동체의 이동거리 및 회전각도에 기초하여, 이동체의 위치 및 방향에 대한 정보 및 랜드마크들의 위치에 대한 정보를 업데이트할 수 있다.
SLAM을 위한 상태 정보는, 이동체의 위치 및 방향에 대한 정보, 및 이동체의 이동거리에 대한 바이어스를 모델링하기 위해 설정된 바이어스 값에 대한 정보를 포함할 수 있다. 일 실시예에 따라, 이동체의 이동거리에 대한 바이어스값에 대한 정보는 바이어스값의 비례상수에 대한 정보를 포함할 수 있다. 따라서, 프로세서(410)는 이동체의 이동거리 및 회전각도에 기초하여, 이동체의 위치 및 방향에 대한 정보, 및 이동체의 이동거리에 대한 바이어스값에 대한 정보를 업데이트할 수 있다. 또한, SLAM이 EKF-SLAM이될 수 있는 바, 프로세서(410)는 확장 칼만 필터를 통해 상태 정보를 업데이트할 수 있다. 또한, 프로세서(410)는 상태 정보에 기초하여 EKF-SLAM을 위한 자코비안(Jacobian) 행렬을 생성할 수 있고, 자코비안 행렬을 통해 상태 정보를 반복적으로 업데이트할 수 있다.
SLAM을 위한 상태 정보는, 이동체의 위치 및 방향에 대한 정보, 이동체의 이동거리에 대한 바이어스를 모델링하기 위해 설정된 바이어스 값에 대한 정보, 및 이동체의 회전각도에 대한 바이어스를 모델링하기 위해 설정된 바이어스 값에 대한 정보를 포함할 수 있다. 따라서, 프로세서(410)는 이동체의 이동거리 및 회전각도에 기초하여, 이동체의 위치 및 방향에 대한 정보, 이동체의 이동거리에 대한 바이어스값에 대한 정보, 및 이동체의 회전각도에 대한 바이어스값에 대한 정보를 업데이트할 수 있다.
센서에 의해 이동체의 선속도를 측정할 시에 바이어스가 발생할 수 있고, 이러한 바이어스는 이동체의 선속도에 비례할 수 있다. 다시 말해, 이동체의 선속도가 증가할수록 바이어스 또한 증가할 수 있다. 또한, 이동체의 선속도에 비례하는 바이어스는 선속도에 기초하여 계산된 이동체의 이동거리에 반영될 수 있다. 따라서, 전자 장치(400)는, 이동체의 선속도에 비례하는 바이어스 값을 이용하여 바이어스가 제거된 이동체의 이동거리를 계산할 수 있는 바, 보다 정확하게 이동체의 이동거리를 계산할 수 있다. 따라서, 전자 장치(400)는 보다 정확한 이동체의 이동거리를 통해 보다 정확하게 SLAM을 위한 상태 정보를 업데이트할 수 있다.
또한, 전자 장치(400)는 이동체의 이동거리에 대한 바이어스 값 및 이동체의 회전각도 대한 바이어스 값 중 적어도 하나를 SLAM을 위한 상태 정보에 포함시킬 수 있고, 상태 정보에 포함된 적어도 하나의 바이어스값을 반복적으로 업데이트할 수 있는 바, 변화될 수 있는 바이어스를 보다 정확하게 모델링할 수 있으며, 그 결과 보다 정확하게 이동체의 이동거리 및 회전각도를 계산할 수 있다.
도 5는 프로세서가 바이어스를 고려하여 이동체의 이동거리 및 회전각도를 계산하고, SLAM을 위한 상태 정보를 업데이트하는 일 실시예를 나타낸다.
프로세서(410)는 측정된 이동체의 선속도(
Figure pat00001
)및 이동체의 이동시간(
Figure pat00002
)에 기초하여 이동체의 이동거리(
Figure pat00003
)를 계산할 수 있다. 또한, 프로세서(410)는 측정된 이동체의 회전각속도(
Figure pat00004
) 및 이동체의 이동시간(
Figure pat00005
)에 기초하여 이동체의 회전각도(
Figure pat00006
)를 계산할 수 있다.
프로세서(410)는 기 계산된 이동체의 이동거리(
Figure pat00007
)에서 제1바이어스 값을 차감하여, 바이어스가 제거된 이동체의 이동거리(
Figure pat00008
)를 계산할 수 있다. 또한, 프로세서(410)는 기 계산된 이동체의 회전각도(
Figure pat00009
)에서 제2바이어스 값을 차감하여, 바이어스가 제거된 이동체의 회전각도(
Figure pat00010
)를 계산할 수 있다.
프로세서(410)는 소정의 비례상수를 이용하여 이동체의 선속도에 비례하는 제1바이어스 값을 설정할 수 있다. 또한, 프로세서(410)는 기 설정된 상수를 이용하여 제2바이어스 값을 설정할 수 있다.
일 예에 따라, 프로세서(410)는 하기 수학식 1에 따라 제1바이어스 값을 설정할 수 있다. 구체적으로, 프로세서(410)는 비례상수(
Figure pat00011
), 측정된 선속도(
Figure pat00012
) 및 이동시간(
Figure pat00013
)을 통해 계산되는 제1바이어스 값을 설정할 수 있다.
Figure pat00014
다른 예에 따라, 프로세서(410)는 하기 수학식 2에 따라 제1바이어스 값을 설정할 수 있다. 구체적으로, 프로세서(410)는 비례상수(
Figure pat00015
) 및 바이어스가 제거된 이동체의 이동거리(
Figure pat00016
)를 통해 계산되는 제1바이어스 값을 설정할 수 있다.
Figure pat00017
프로세서(410)는 바이어스가 제거된 이동체의 이동거리(
Figure pat00018
) 및 바이어스가 제거된 회전각도(
Figure pat00019
)에 기초하여 SLAM을 위한 상태 정보를 업데이트할 수 있다. 구체적으로, 프로세서(410)는, 바이어스가 제거된 이동체의 이동거리(
Figure pat00020
) 및 회전각도(
Figure pat00021
)에 기초하여, k번째 시점의 상태 벡터(
Figure pat00022
)에서 k+1번째 시점의 상태 벡터(
Figure pat00023
)로 SLAM을 위한 상태 벡터를 업데이트할 수 있다. 여기서, k번째 상태 벡터(
Figure pat00024
)는 이동체의 좌표(
Figure pat00025
) 및 방향(
Figure pat00026
)을 포함할 수 있다.
도 6은 프로세서가 바이어스를 고려하여 이동체의 이동거리 및 회전각도를 계산하고, SLAM을 위한 상태 정보를 업데이트하는 다른 실시예를 나타낸다.
프로세서(410)는 측정된 이동체의 선속도에 기초하여 계산된 이동체의 이동거리(
Figure pat00027
)에서 제1바이어스 값(610)을 차감하여, 바이어스가 제거된 이동체의 이동거리(
Figure pat00028
)를 계산할 수 있다. 여기서, 제1바이어스 값(610)은 비례상수(
Figure pat00029
) 및 바이어스가 제거된 이동체의 이동거리(
Figure pat00030
) 간의 곱셈 연산을 통해 설정될 수 있다. 도 6에서,
Figure pat00031
및
Figure pat00032
는 가우시안 노이즈(Gaussian noise)를 나타낸다.
프로세서(410)는 측정된 이동체의 회전각속도에 기초하여 계산된 이동체의 회전각도(
Figure pat00033
)에서 제2바이어스 값(620)을 차감하여, 바이어스가 제거된 이동체의 회전각도(
Figure pat00034
)를 계산할 수 있다. 여기서, 제2바이어스 값(620)은 업데이트가 될 수 있는 상수인
Figure pat00035
로 설정될 수 있다.
프로세서(410)는, 바이어스가 제거된 이동체의 이동거리(
Figure pat00036
) 및 회전각도(
Figure pat00037
)에 기초하여, k번째 시점의 상태 벡터(
Figure pat00038
)에서 k+1번째 시점의 상태 벡터(
Figure pat00039
)로 SLAM을 위한 상태 벡터를 업데이트할 수 있다. 여기서, k번째 상태 벡터(
Figure pat00040
)는 이동체의 좌표(
Figure pat00041
) 및 방향(
Figure pat00042
)을 포함할 뿐만 아니라, 제1바이어스 값(610)의 비례상수인
Figure pat00043
및 제2바이어스 값(620)인
Figure pat00044
를 포함할 수 있다. 따라서, 제1바이어스 값(610)의 비례상수 및 제2바이어스 값(620)이 반복적으로 업데이트될 수 있으므로, 프로세서(410)는 보다 정확하게 이동체의 이동거리 및 회전각도를 계산할 수 있다.
도 7은 프로세서가 바이어스를 고려하여 이동체의 이동거리 및 회전각도를 계산하고, SLAM을 위한 상태 정보를 업데이트하는 또 다른 실시예를 나타낸다.
프로세서(410)는 측정된 이동체의 선속도에 기초하여 계산된 이동체의 이동거리(
Figure pat00045
)에서 제1바이어스 값(710)을 차감하여, 바이어스가 제거된 이동체의 이동거리(
Figure pat00046
)를 계산할 수 있다. 여기서, 제1바이어스 값(710)은 업데이트가 될 수 있는 상수인
Figure pat00047
로 설정될 수 있다. 도 7에서,
Figure pat00048
및
Figure pat00049
는 가우시안 노이즈(Gaussian noise)를 나타낸다.
프로세서(410)는 측정된 이동체의 회전각속도에 기초하여 계산된 이동체의 회전각도(
Figure pat00050
)에서 제2바이어스 값(720)을 차감하여, 바이어스가 제거된 이동체의 회전각도(
Figure pat00051
)를 계산할 수 있다. 여기서, 제2바이어스 값(720)은 업데이트가 될 수 있는 상수인
Figure pat00052
로 설정될 수 있다.
프로세서(410)는, 바이어스가 제거된 이동체의 이동거리(
Figure pat00053
) 및 회전각도(
Figure pat00054
)에 기초하여, k번째 시점의 상태 벡터(
Figure pat00055
)에서 k+1번째 시점의 상태 벡터(
Figure pat00056
)로 SLAM을 위한 상태 벡터를 업데이트할 수 있다. 여기서, k번째 상태 벡터(
Figure pat00057
)는 이동체의 좌표(
Figure pat00058
) 및 방향(
Figure pat00059
)을 포함할 뿐만 아니라, 제1바이어스 값(710)인
Figure pat00060
및 제2바이어스 값(720)인
Figure pat00061
를 포함할 수 있다. 따라서, 제1바이어스 값(710)의 비례상수 및 제2바이어스 값(720)이 반복적으로 업데이트될 수 있으므로, 프로세서(410)는 보다 정확하게 이동체의 이동거리 및 회전각도를 계산할 수 있다.
도 8은 본 개시에 따른 차량을 나타낸다.
차량(800)은 센서(810) 및 전자 장치(820)를 포함할 수 있다. 도 8에 도시된 차량(800)은 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 8에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
차량(800)은 자율 주행 차량일 수 있다.
센서(810)는 차량(800)의 선속도 및 회전각속도를 측정할 수 있다. 일 실시예에 따라, 센서(810)는 오도미터(odometer) 센서를 포함하는 바, 오도미터 센서를 통해 이동체의 선속도를 측정할 수 있다. 또한, 센서(810)는 요 레이트(yaw rate) 센서를 포함하는 바, 요 레이트 센서를 통해 이동체의 회전각속도를 측정할 수 있다. 또한, 센서(810)는 GPS(Global Positioning System), IMU(Inertial Measurement Unit), RADAR 유닛, LIDAR 유닛, 및 카메라를 포함할 수 있으며, 이를 통해 차량(800)의 상태 또는 차량(800)의 주변 환경을 센싱할 수 있다.
전자 장치(820)는 센서(810)로부터 차량(800)의 선속도 및 회전각속도에 관한 정보를 획득할 수 있고, 획득한 정보에 기초하여 차량(800)의 이동 거리 및 회전 각도를 계산할 수 있고, 차량(800)의 이동 거리 및 회전 각도에 기초하여, SLAM을 위한 상태 정보를 업데이트할 수 있다. 또한, 전자 장치(820)는, 차량(800)의 이동 거리를 계산할 시, 차량(800)의 선속도에 기초하여 확인되는 바이어스를 고려하여 차량(800)의 이동 거리를 계산할 수 있다. 전자 장치(820)는 도 4 내지 도 7의 전자 장치(400)와 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
도 9는 전자 장치가 SLAM을 구현하는 방법을 설명하기 위한 도면이다.
도 9에 도시된 방법은, 도 4 내지 도 7의 전자 장치(400)의 각 구성요소에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 S910에서, 전자 장치(400)는 이동체의 선속도 및 회전각속도에 대한 정보를 획득할 수 있다. 구체적으로, 전자 장치(400)는 오도미터 센서에 의한 측정을 통해 이동체의 선속도에 대한 정보를 획득할 수 있고, 요 레이트 센서에 의한 측정을 통해 이동체의 회전각속도에 대한 정보를 획득할 수 있다.
단계 S920에서, 전자 장치(400)는 S910에서 획득한 정보에 기초하여 이동체의 이동 거리 및 회전 각도를 계산할 수 있다 전자 장치(400)는 이동체의 선속도에 기초하여 이동체의 이동거리를 계산할 수 있고, 이동체의 회전각속도에 기초하여 이동체의 회전각도를 계산할 수 있다.
이동체의 이동거리를 계산할 때, 전자 장치(400)는 이동체의 선속도에 기초하여 확인되는 바이어스(bias)를 고려하여 이동체의 이동거리를 계산할 수 있다. 구체적으로, 전자 장치(400)는, 이동체의 선속도에 비례하는 바이어스를 수학적으로 모델링하기 위해, 기 설정된 비례상수를 이용하여 이동체의 선속도에 비례하는 바이어스 값을 설정할 수 있다. 이어서, 전자 장치(400)는, 이동체의 선속도에 기초하여 계산된 이동체의 이동거리에서 바이어스 값을 차감하여, 바이어스가 제거된 이동체의 이동거리를 계산할 수 있다. 다시 말해, 전자 장치(400)는 바이어스가 제거된 이동체의 이동거리를 통해 이동체의 실제 이동거리를 추정할 수 있다.
이동체의 회전각도를 계산할 때, 전자 장치(400)는 바이어스가 제거된 이동체의 회전각도를 계산할 수 있다. 구체적으로, 전자 장치(400)는, 이동체의 회전각도에 대한 바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 바이어스 값을 설정할 수 있다. 이어서, 전자 장치(400)는, 이동체의 회전각속도에 기초하여 계산된 이동체의 회전각도에서 바이어스 값을 차감하여, 바이어스가 제거된 이동체의 회전각도를 계산할 수 있다.
단계 S930에서, 전자 장치(400)는 이동체의 이동 거리 및 회전 각도에 기초하여, SLAM을 위한 상태 정보를 업데이트할 수 있다.
SLAM을 위한 상태 정보는, 이동체의 위치 및 방향에 대한 정보, 이동체의 이동거리에 대한 바이어스를 모델링하기 위해 설정된 바이어스 값에 대한 정보, 및 이동체의 회전각도에 대한 바이어스를 모델링하기 위해 설정된 바이어스 값에 대한 정보를 포함할 수 있다. 따라서, 전자 장치(400)는 이동체의 이동거리 및 회전각도에 기초하여, 이동체의 위치 및 방향에 대한 정보, 이동체의 이동거리에 대한 바이어스값에 대한 정보, 및 이동체의 회전각도에 대한 바이어스값에 대한 정보를 업데이트할 수 있다. 또한, SLAM이 EKF-SLAM이될 수 있는 바, 전자 장치(400)는 확장 칼만 필터를 통해 상태 정보를 반복적으로 업데이트할 수 있다.
상기 살펴 본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(Random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

Claims (16)

  1. SLAM(Simultaneous Localization and Mapping)을 구현하는 방법으로서,
    이동체의 선속도 및 회전각속도에 관한 정보를 획득하는 단계;
    상기 획득한 정보에 기초하여 상기 이동체의 이동거리 및 회전각도를 계산하는 단계; 및
    상기 이동체의 이동거리 및 회전각도에 기초하여, 상기 SLAM을 위한 상태 정보(state information)를 업데이트하는 단계를 포함하고,
    상기 계산하는 단계는,
    상기 이동체의 선속도에 기초하여 확인되는 제1바이어스(bias)를 고려하여 상기 이동체의 이동거리를 계산하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 계산하는 단계는,
    상기 제1바이어스를 모델링하기 위해, 비례상수를 이용하여 상기 이동체의 선속도에 비례하는 제1바이어스 값을 설정하는 단계; 및
    상기 선속도에 기초하여 계산된 상기 이동체의 이동거리에서 상기 제1바이어스 값을 차감하여, 상기 제1바이어스가 제거된 상기 이동체의 이동거리를 계산하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 상태 정보는,
    상기 이동체의 위치 및 방향에 관한 정보, 및 상기 제1바이어스 값의 비례상수에 관한 정보를 포함하는, 방법.
  4. 제2항에 있어서,
    상기 계산하는 단계는,
    상기 이동체의 회전각도에 대한 제2바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 제2바이어스 값을 설정하는 단계; 및
    상기 회전각속도에 기초하여 계산된 상기 이동체의 회전각도에서 상기 제2바이어스 값을 차감하여, 상기 제2바이어스가 제거된 상기 이동체의 회전각도를 계산하는 단계를 포함하고,
    상기 상태 정보는,
    상기 이동체의 위치 및 방향에 관한 정보, 상기 제1바이어스 값의 비례상수에 관한 정보, 및 상기 제2바이어스 값에 관한 정보를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 이동체의 선속도는,
    상기 이동체에 배치된 오도미터(odometer) 센서로부터 측정된 선속도이고,
    상기 이동체의 회전각속도는,
    상기 이동체에 배치된 요 레이트(yaw rate) 센서로부터 측정된 회전각속도인, 방법.
  6. 제1항에 있어서,
    상기 계산하는 단계는,
    상기 이동체의 이동거리에 대한 상기 제1바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 제1바이어스 값을 설정하고, 상기 설정된 제1바이어스 값에 기초하여, 상기 제1바이어스가 제거된 상기 이동체의 이동거리를 계산하는 단계; 및
    상기 이동체의 회전각도에 대한 제2바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 제2바이어스 값을 설정하고, 상기 설정된 제2바이어스 값에 기초하여, 상기 제2바이어스가 제거된 상기 이동체의 회전각도를 계산하는 단계를 포함하고,
    상기 상태 정보는,
    상기 이동체의 위치 및 방향에 관한 정보, 상기 제1바이어스 값에 관한 정보, 및 상기 제2바이어스 값에 관한 정보를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 업데이트하는 단계는,
    확장 칼만 필터(Extended Kalman Filter)를 통해 상기 상태 정보를 반복적으로 업데이트하는 단계를 포함하는, 방법.
  8. 제1항 내지 제7항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비휘발성 기록매체.
  9. SLAM(Simultaneous Localization and Mapping)을 구현하는 전자 장치로서,
    적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써, 이동체의 선속도 및 회전각속도에 관한 정보를 획득하고, 상기 획득한 정보에 기초하여 상기 이동체의 이동거리 및 회전각도를 계산하고, 상기 이동체의 이동거리 및 회전각도에 기초하여, 상기 SLAM을 위한 상태 정보(state information)를 업데이트하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 이동체의 선속도에 기초하여 확인되는 제1바이어스(bias)를 고려하여 상기 이동체의 이동거리를 계산하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1바이어스를 모델링하기 위해, 비례상수를 이용하여 상기 이동체의 선속도에 비례하는 제1바이어스 값을 설정하고,
    상기 선속도에 기초하여 계산된 상기 이동체의 이동거리에서 상기 제1바이어스 값을 차감하여, 상기 제1바이어스가 제거된 상기 이동체의 이동거리를 계산하는, 전자 장치.
  11. 제10항에 있어서,
    상기 상태 정보는,
    상기 이동체의 위치 및 방향에 관한 정보, 및 상기 제1바이어스 값의 비례상수에 관한 정보를 포함하는, 정자 장치.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 이동체의 회전각도에 대한 제2바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 제2바이어스 값을 설정하고,
    상기 회전각속도에 기초하여 계산된 상기 이동체의 회전각도에서 상기 제2바이어스 값을 차감하여, 상기 제2바이어스가 제거된 상기 이동체의 회전각도를 계산하고,
    상기 상태 정보는,
    상기 이동체의 위치 및 방향에 관한 정보, 상기 제1바이어스 값의 비례상수에 관한 정보, 및 상기 제2바이어스 값에 관한 정보를 포함하는, 전자 장치.
  13. 제9항에 있어서,
    상기 이동체의 선속도는,
    상기 이동체에 배치된 오도미터(odometer) 센서로부터 측정된 선속도이고,
    상기 이동체의 회전각속도는,
    상기 이동체에 배치된 요 레이트(yaw rate) 센서로부터 측정된 회전각속도인, 전자 장치.
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 이동체의 이동거리에 대한 상기 제1바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 제1바이어스 값을 설정하고, 상기 설정된 제 1 바이어스 값에 기초하여, 상기 제1바이어스가 제거된 상기 이동체의 이동거리를 계산하고,
    상기 이동체의 회전각도에 대한 제2바이어스를 모델링하기 위해, 기 설정된 상수를 이용하여 제2바이어스 값을 설정하고, 상기 설정된 제2바이어스 값에 기초하여, 상기 제2바이어스가 제거된 상기 이동체의 회전각도를 계산하고,
    상기 상태 정보는,
    상기 이동체의 위치 및 방향에 관한 정보, 상기 제1바이어스 값에 관한 정보, 및 상기 제2바이어스 값에 관한 정보를 포함하는, 전자 장치.
  15. 제 9 항에 있어서,
    상기 프로세서는
    확장 칼만 필터(Extended Kalman Filter)를 통해 상기 상태 정보를 반복적으로 업데이트하는, 전자 장치.
  16. SLAM(Simultaneous Localization and Mapping)을 구현하는 차량으로서,
    상기 차량의 선속도 및 회전각속도를 측정하는 센서; 및
    상기 센서로부터 상기 차량의 선속도 및 회전각속도에 관한 정보를 획득하고,
    상기 획득한 정보에 기초하여 상기 차량의 이동거리 및 회전각도를 계산하고,
    상기 차량의 이동거리 및 회전각도에 기초하여, 상기 SLAM을 위한 상태 정보(state information)를 업데이트하는 전자 장치를 포함하고,
    상기 전자 장치는,
    상기 차량의 선속도에 기초하여 확인되는 제1바이어스(bias)를 고려하여 상기 차량의 이동거리를 계산하는, 차량.
KR1020190102360A 2019-08-21 2019-08-21 Slam을 구현하는 방법 및 전자 장치 KR20210022941A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190102360A KR20210022941A (ko) 2019-08-21 2019-08-21 Slam을 구현하는 방법 및 전자 장치
US16/703,137 US11226206B2 (en) 2019-08-21 2019-12-04 Electronic apparatus and method for implementing simultaneous localization and mapping (SLAM)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190102360A KR20210022941A (ko) 2019-08-21 2019-08-21 Slam을 구현하는 방법 및 전자 장치

Publications (1)

Publication Number Publication Date
KR20210022941A true KR20210022941A (ko) 2021-03-04

Family

ID=74645543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190102360A KR20210022941A (ko) 2019-08-21 2019-08-21 Slam을 구현하는 방법 및 전자 장치

Country Status (2)

Country Link
US (1) US11226206B2 (ko)
KR (1) KR20210022941A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
WO2016033797A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
CN110799804A (zh) * 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成系统和方法

Also Published As

Publication number Publication date
US11226206B2 (en) 2022-01-18
US20210055114A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
KR102623574B1 (ko) 전자 장치 및 그 동작 방법
KR20190110498A (ko) 영상 파일에서 불특정 인물의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법
US11508158B2 (en) Electronic device and method for vehicle driving assistance
US11276226B2 (en) Artificial intelligence apparatus and method for synthesizing images
US20200050894A1 (en) Artificial intelligence apparatus and method for providing location information of vehicle
KR20190098735A (ko) 차량 단말 및 그의 동작 방법
KR20200131664A (ko) 차량의 주행을 보조하는 전자 장치 및 방법
US20200005643A1 (en) Method and apparatus for providing information on vehicle driving
KR102331672B1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
KR20190101333A (ko) 음성 인식 장치 및 음성 인식 방법
KR20200144006A (ko) 자율 주행 시스템
US11378407B2 (en) Electronic apparatus and method for implementing simultaneous localization and mapping (SLAM)
CN114127810A (zh) 车辆自主级功能
KR102607390B1 (ko) 차량의 주변 상황 확인 방법
US11211045B2 (en) Artificial intelligence apparatus and method for predicting performance of voice recognition model in user environment
KR20190098097A (ko) 전자 제어 시스템
KR102537381B1 (ko) 보행경로예측장치
US11341596B2 (en) Robot and method for correcting position of same
US11116027B2 (en) Electronic apparatus and operation method thereof
US11226206B2 (en) Electronic apparatus and method for implementing simultaneous localization and mapping (SLAM)
US11170239B2 (en) Electronic apparatus and operation method thereof
US20210213604A1 (en) Modular robot and operation method thereof
US11550328B2 (en) Artificial intelligence apparatus for sharing information of stuck area and method for the same
KR20200145356A (ko) 차량 탑승자를 위한 컨텐츠 제공 방법 및 장치
KR102591707B1 (ko) 보행경로예측장치