KR101690882B1 - 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법 - Google Patents

데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법 Download PDF

Info

Publication number
KR101690882B1
KR101690882B1 KR1020150101235A KR20150101235A KR101690882B1 KR 101690882 B1 KR101690882 B1 KR 101690882B1 KR 1020150101235 A KR1020150101235 A KR 1020150101235A KR 20150101235 A KR20150101235 A KR 20150101235A KR 101690882 B1 KR101690882 B1 KR 101690882B1
Authority
KR
South Korea
Prior art keywords
data
microcontroller
sensors
time stamp
frame
Prior art date
Application number
KR1020150101235A
Other languages
English (en)
Inventor
정명진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150101235A priority Critical patent/KR101690882B1/ko
Application granted granted Critical
Publication of KR101690882B1 publication Critical patent/KR101690882B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

일 실시예에 따른 센서 데이터를 획득하기 위한 3차원 맵핑 시스템은, 복수의 센서로부터 데이터를 수신함에 있어서, 매 프레임마다 상기 데이터의 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성하는 마이크로 컨트롤러(MCU); 및 상기 생성된 타임 스탬프 데이터를 수신함으로써 상기 타임 스탬프를 획득하고, 상기 타임 스탬프를 획득한 순으로 저장하는 데이터 로깅부를 포함하고, 위치 측정(Pose-Estimation)과 관련된 상기 복수의 센서로부터 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 데이터를 점군으로 복원하여 3차원 맵을 생성할 수 있다.

Description

데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법{DATA LOGGING TIME-ACCURACY ENHANCEMENT METHOD OF 3D MAPPING SYSTEM USING MCU}
아래의 설명은 센서 데이터 획득시간의 정확도를 향상시키기 위한 기술에 관한 것이다.
도 1은 맵핑 시스템의 구성을 설명하기 위한 도면이다. 맵핑 시스템(100)은 복수의 센서로부터 데이터를 획득하고, 획득한 데이터를 로깅부(120)로 전달할 수 있다. 맵핑 시스템(100)은 자율 주행시 필요한 주변 정보를 3차원 맵으로 복원할 수 있다. 이때, 맵핑 시스템(100)은 GPS 센서(110), Wheel Odometry(111), LiDAR(112) 및 IMU(113)로부터 데이터를 획득할 수 있다. 맵핑 시스템(100)은 GPS 센서(110), IMU(113), Wheel Odometry(111) 등을 통하여 위치 값을 보정하고, LiDAR(112)를 이용하여 획득한 데이터를 점군으로 복원함으로써 3차원 맵을 생성할 수 있다.
맵핑 시스템(100)은 이동형 플랫폼에서 데이터를 획득할 수 있다. 이때, 이동형 플랫폼은 매 순간 자신의 위치를 정확하게 계산해야 하고, 위치 측정에 관련된 GPS 센서, IMU, Wheel encoder 등의 데이터는 데이터가 획득됐을 때의 타임 스탬프(Time Stamp)를 기준으로 위치를 계산하므로, 타임 스탬프가 정확해야 정확한 차량의 궤적을 얻을 수 있다. 또한, LiDAR가 설치된 구조 상, scan-line이 차량의 진행방향과 수직하다.
이에 따라 LiDAR의 모든 range data가 차량의 위치와 타임 스탬프를 기반으로 포인트 클라우드(Point Cloud)의 위치를 계산하게 되므로, 타임 스탬프가 정확해야 포인트 클라우드의 위치를 정확하게 계산할 수 있다.
맵핑 시스템(100)은 context switching이 자주 발생하는 windows OS를 기반으로 개발된다. 도 2를 참고하면, 맵핑 시스템(100)은 시리얼(Serial) 통신을 이용하여 데이터를 수신하며, 이벤트가 발생하는 시점에 타임 스탬프를 저장하므로, 이벤트가 발생하는 시점에 다른 OS 내에서 다른 task가 수행 중이면, 타임 스탬프가 정확하게 저장되지 않는 문제가 발생한다.
도 3을 참고하면, 맵핑 시스템에서 시간 기록이 정확하지 못하여 발생하는 문제의 예를 나타낸 것으로, 포인트 클라우드가 간헐적으로 비거나 뭉치는 현상이 발생할 수 있다.
일 실시예에 따른 3차원 맵핑 시스템은 데이터의 획득시 발생하는 문제를 해결하기 위하여 마이크로 컨트롤러를 이용하여 시간정확도를 향상시키는 방법을 제안한다.
일 실시예에 따르면, 센서 데이터를 획득하기 위한 3차원 맵핑 시스템은, 복수의 센서로부터 데이터를 수신함에 있어서, 매 프레임마다 상기 데이터의 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성하는 마이크로 컨트롤러(MCU); 및 상기 생성된 타임 스탬프 데이터를 수신함으로써 상기 타임 스탬프를 획득하고, 상기 타임 스탬프를 획득한 순으로 저장하는 데이터 로깅부를 포함하고, 위치 측정(Pose-Estimation)과 관련된 상기 복수의 센서로부터 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 데이터를 점군으로 복원하여 3차원 맵을 생성할 수 있다.
일측에 따르면, 상기 마이크로 컨트롤러는, single core 구조로 구성되고, 단일의 프로그램을 수행하여 context switching 현상이 발생하지 않을 수 있다.
또 다른 일측에 따르면, 상기 마이크로 컨트롤러는, 상기 마이크로 컨트롤러의 외부 인터럽트를 이용하여 상기 데이터를 스니핑(Sniffing)하는 방식을 사용할 수 있다.
또 다른 일측에 따르면, 상기 마이크로 컨트롤러는, 상기 복수의 센서의 data tx 핀이 상기 마이크로 컨트롤러의 인터럽트 핀에 연결되어 상기 데이터의 매 프레임마다 전송 시작 시간을 체크하여 저장하고, 일정주기로 상기 타임 스탬프 데이터를 상기 데이터 로깅부로 전달할 수 있다.
또 다른 일측에 따르면, 상기 3차원 맵은, GPS 센서, IMU, Wheel encoder 중 적어도 하나의 센서로부터 위치 값을 보정하되 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 거리 데이터를 점군으로 복원하여 생성할 수 있다.
일 실시예에 따르면, 데이터의 시간 정확도를 향상시키기 위한 마이크로 컨트롤러는, 복수의 센서로부터 데이터를 수신하는 수신부; 상기 복수의 센서로부터 데이터를 수신함에 따라 매 프레임마다 전송 시작 시간을 체크하여 저장하는 저장부; 상기 매 프레임의 전송 시작 시간을 체크함으로써 타임 스탬프 데이터를 생성하는 생성부; 및 일정주기로 상기 생성된 타임 스탬프 데이터를 데이터 로깅부로 전송하는 전송부를 포함할 수 있다.
일측에 따르면, 상기 마이크로 컨트롤러는, single core 구조로 구성되고, 단일의 프로그램을 수행할 수 있다.
또 다른 일측에 따르면, 상기 마이크로 컨트롤러는, 상기 마이크로 컨트롤러의 외부 인터럽트를 이용하여 데이터를 스니핑(Sniffing)하는 방식을 사용하고, 상기 복수의 센서의 data tx 핀이 상기 마이크로 컨트롤러의 인터럽트 핀에 연결되어 상기 데이터의 매 프레임의 전송 시작 시간을 체크하고 저장할 수 있다.
일 실시예에 따르면, 3차원 맵핑 시스템에서 센서 데이터를 획득하는 방법은, 마이크로 컨트롤러에서 복수의 센서로부터 데이터를 수신하는 단계; 상기 마이크로 컨트롤러에서 매 프레임마다 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성하는 단계; 상기 데이터 로깅부에서 상기 생성된 타임 스탬프 데이터를 수신함으로써 상기 타임 스탬프를 획득하는 단계; 및 상기 데이터 로깅부에서 상기 타임 스탬프를 획득한 순으로 저장하는 단계를 포함하고, 위치 측정(Pose-Estimation)과 관련된 상기 복수의 센서로부터 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 거리 데이터를 점군으로 복원하여 3차원 맵을 생성할 수 있다.
일측에 따르면, 상기 마이크로 컨트롤러는, single core 구조로 구성되고, 단일의 프로그램을 수행하여 context switching 현상이 발생하지 않을 수 있다.
또 다른 일측에 따르면, 상기 마이크로 컨트롤러는, 상기 마이크로 컨트롤러의 외부 인터럽트를 이용하여 데이터를 스니핑(Sniffing)하는 방식을 사용할 수 있다.
또 다른 일측에 따르면, 상기 마이크로 컨트롤러는, 상기 복수의 센서의 data tx 핀이 상기 마이크로 컨트롤러의 인터럽트 핀에 연결되어 상기 데이터의 매 프레임마다 전송 시작 시간을 체크하여 저장하고, 일정주기로 상기 타임 스탬프 데이터를 상기 데이터 로깅부로 전달할 수 있다.
또 다른 일측에 따르면, 상기 3차원 맵은, GPS 센서, IMU, Wheel encoder 중 적어도 하나의 센서로부터 위치 값을 보정하되 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 거리 데이터를 점군으로 복원하여 생성할 수 있다.
일 실시예에 따른 3차원 맵핑 시스템은 3차원 주변환경을 복원할 경우, 점군이 뭉치거나 끊어지는 문제점을 해결하여 좀 더 정확한 의미 지도(Semantic map)를 제공할 수 있다. 3차원 주변환경에서 구성한 의미 지도는 자율주행, 회피 기동, 경로 생성 등 다양한 분야에 적용될 수 있기 때문에 추가적인 알고리즘의 개선을 기대할 수 있다.
일 실시예에 따른 3차원 맵핑 시스템은 확장되고 있는 로봇 시장에서 기반 기술로 자리매김할 수 있으며, 이와 관련하여 센서에서 획득한 타임 스탬프(Time Stamp)를 검증하고 처리하는 과정을 줄일 수 있기 때문에 불필요한 연산과 시간을 없앨 수 있다.
도1 내지 도 3은 맵핑 시스템의 구성 및 문제점을 설명하기 위한 도면이다.
도 4는 3차원 맵을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 3차원 맵핑 시스템의 구성을 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 마이크로 컨트롤러의 구성을 설명하기 위한 블록도이다.
도 7은 일 실시예에 따른 3차원 맵핑 시스템의 3차원 맵핑 방법을 설명하기 위한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 4는 3차원 맵을 생성하는 과정을 설명하기 위한 도면이다.
3차원 맵은 여러가지 센서 중에서 위치 측정(Pose-Estimation)에 관련된 GPS, IMU, wheel encoder들을 이용하여 차량이 지나간 궤적을 정확하게 계산하고, 그 궤적을 기반으로 LiDAR의 거리 데이터를 점군으로 복원하여 생성될 수 있다.
또한, 생성된 3차원 맵은 LiDAR 센서들의 구조상 주로 건물의 벽면, 지면, 주차된 차량, 가로수, 보행자, 도로주변 지형 등이 복원될 수 있다. 이때, 카메라로부터 획득한 이미지를 이용하여 point에 색깔을 입힐 수 있다.
본 발명은 지능형 자동차 및 로봇의 자율 주행을 위한 3차원 센서로부터 데이터를 획득함에 있어서 발생하는 문제점을 해결할 수 있다. 이에 대한 상세한 설명은 아래에서 설명하기로 한다.
도 5는 일 실시예에 따른 3차원 맵핑 시스템의 구성을 설명하기 위한 블록도이다.
3차원 맵핑 시스템(500)은 위치 측정과 관련된 복수의 센서로부터 궤적을 계산하고, 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 데이터를 점군으로 복원하여 3차원 맵을 생성할 수 있다. 3차원 맵핑 시스템(500)은 GPS 센서(510), IMU(513), Wheel Odemetry(511) 중 적어도 하나의 센서로부터 위치 값을 보정하고, LiDAR(512)를 이용하여 획득한 데이터를 점군으로 복원함으로써 3차원 맵을 생성할 수 있다.
3차원 맵핑 시스템이 이동하면 각 시점에서 자신의 위치를 정확하게 계산해야 하는데, 데이터를 획득하는 시간, 다시 말해서, 타임 스탬프에 직접적으로 연관되어 시스템의 성능에 큰 영향을 미친다. 정확한 타임 스탬프를 획득해야 3차원 맵핑 시스템(500)이 자신의 위치를 보다 정확하게 계산할 수 있고, 결국 위치를 기반으로 생성되는 3차원 맵을 정확하게 구성할 수 있다.
3차원 맵핑 시스템(500)은 복수의 센서(510, 511, 512, 513), 마이크로 컨트롤러(Micro Controller Unit)(520) 및 데이터 로깅부(Computer For Data Logging)(530)를 포함할 수 있다.
마이크로 컨트롤러(520)는 복수의 센서로부터 데이터를 수신함에 있어서, 매 프레임마다 데이터의 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성할 수 있다. 이때, 복수의 센서는 GPS 센서(510), Wheel encoder(511), LiDAR(512), IMU(513) 중 적어도 하나를 포함할 수 있다.
마이크로 컨트롤러(520)는 single core 구조로 구성되고, 단일의 프로그램을 수행하여 context switching 현상이 발생하지 않을 수 있다.
마이크로 컨트롤러(520)는 마이크로 컨트롤러의 외부 인터럽트를 이용하여 데이터를 스니핑 방식으로 사용할 수 있다. 마이크로 컨트롤러(520)는 복수의 센서의 data tx핀이 마이크로 컨트롤러의 인터럽트 핀에 연결되어 데이터의 매 프레임마다 전송 시작 시간을 체크하여 저장하고, 일정주기로 타임 스탬프 데이터를 데이터 로깅부로 전달할 수 있다.
데이터 로깅부(530)는 생성된 타임 스탬프 데이터를 수신함으로써 타임 스탬프를 획득하고 타임 스탬프를 획득한 순으로 저장할 수 있다.
도 6은 일 실시예에 따른 마이크로 컨트롤러의 구성을 설명하기 위한 블록도이다.
마이크로 컨트롤러(MCU)(600)는 마이크로프로세서와 입출력 모듈을 하나의 칩으로 만들어 정해진 기능을 수행하는 장치로서, single core 구조로 구성되고, 단일의 프로그램을 수행할 수 있다. 마이크로 컨트롤러(600)는 인터럽트를 제외하고, context switching 등의 현상이 발생하지 않는다.
마이크로 컨트롤러(600)는 수신부(610), 저장부(620), 생성부(630) 및 전송부(640)를 포함할 수 있다.
수신부(610)는 복수의 센서로부터 데이터를 수신할 수 있다. 수신부(610)는 GPS 센서, IMU, Wheel encoder 중 적어도 하나의 센서로부터 데이터를 수신할 수 있다.
저장부(620)는 복수의 센서로부터 데이터를 수신함에 따라 매 프레임마다 전송 시작 시간을 체크하여 저장할 수 있다.
생성부(630)는 매 프레임의 전송 시작 시간을 체크함으로써 타임 스탬프 데이터를 생성할 수 있다.
전송부(640)는 일정주기로 생성된 타임 스탬프 데이터를 데이터 로깅부로 전송할 수 있다.
마이크로 컨트롤러(600)는 마이크로 컨트롤러의 외부 인터럽트를 이용하여 데이터를 스니핑하는 방식을 사용하고, 복수의 센서의 data tx 핀이 마이크로 컨트롤러의 인터럽트 핀에 연결되어 데이터의 매 프레임의 전송 시작 시간을 체크하고 저장할 수 있다.
일 실시예에 따른 마이크로 컨트롤러는 External interrupt 포트의 개수 및 정확도 측면에서 core clock 속도를 고려하였을 때, TI 사의 TMS320F28355이 적합할 수 있다.
도 7은 일 실시예에 따른 3차원 맵핑 시스템의 3차원 맵핑 방법을 설명하기 위한 흐름도이다.
단계(710)에서 3차원 맵핑 시스템은 마이크로 컨트롤러에서 복수의 센서로부터 데이터를 수신함에 있어서, 매 프레임마다 데이터의 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성할 수 있다. 이때, 3차원 맵핑 시스템에서 마이크로 컨트롤러는 대부분 single core 구조이고, 하나의 프로그램만을 수행하기 때문에 context switching 등의 현상이 발생하지 않을 수 있다.
3차원 맵핑 시스템에서 마이크로 컨트롤러는 외부 인터럽트를 이용하여 데이터를 스니핑하는 방식을 사용하고, 복수의 센서의 data tx 핀이 마이크로 컨트롤러의 인터럽트 핀에 연결되어 데이터의 매 프레임의 전송 시작 시간을 체크하여 저장할 수 있다.
마이크로 컨트롤러는 일정주기로 타임 스탬프 데이터를 데이터 로깅부로 전달할 수 있다. 예를 들면, External interrupt 포트의 개수 및 정확도 측면에서 core clock 속도를 고려하였을때 마이크로 컨트롤러는 TI 사의 TMS320F28355 모델이 적합할 수 있다.
단계(720)에서 3차원 맵핑 시스템은 데이터 로깅부에서 타임 스탬프 데이터를 수신함으로써 타임 스탬프를 획득하고, 타임 스탬프를 획득한 순으로 저장할 수 있다. 3차원 맵핑 시스템은 마이크로 컨트롤러를 이용함으로써 시간정확도를 향상시킬 수 있다.
일 실시예에 따른 3차원 맵핑 시스템은 현재 대두되고 있는 지능형 자동차 분야에 바로 적용시킬 수 있다. 지능형 자동차에 있어서도 3차원 주변 환경 복원, 위험 상황 회피 가동, 자동 주차 등 위치 센서 및 거리 센서를 포함하여 한 개 이상의 센서를 사용하는 상황에 있어서 알고리즘 성능의 향상에 기여할 것이다.
일 실시예에 따른 3차원 맵핑 시스템은 로봇의 자율주행을 위한 센서뿐만 아니라 여러가지 센서를 복합적으로 사용하는 모든 시스템에 적용 가능하다. 3차원 맵핑 시스템은 데이터 및 신호처리에 있어서 데이터를 획득하는 시간에 대한 문제를 해결하였기 때문에 지능형 로봇, 산업화 로봇, 가정용 로봇 등 모든 로봇에 있어서 시스템을 정확하고 정교하게 해주는 역할을 할 수 있다.
일 실시예에 따른 3차원 맵핑 시스템은 3차원 주변환경을 복원할 경우, 점군이 뭉치거나 끊어지는 문제점을 해결하여 좀 더 정확한 의미 지도(Semantic map)를 제공할 수 있다. 3차원 주변환경에서 구성한 의미 지도는 자율주행, 회피 기동, 경로 생성 등 다양한 분야에 적용될 수 있기 때문에 추가적인 알고리즘의 개선을 기대할 수 있다.
일 실시예에 따른 3차원 맵핑 시스템은 확장되고 있는 로봇 시장에서 기반 기술로 자리매김할 수 있으며, 이와 관련하여 센서에서 획득한 타임 스탬프를 검증하고 처리하는 과정을 줄일 수 있기 때문에 불필요한 연산과 시간을 없앨 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 3차원 맵핑 시스템에 있어서,
    복수의 센서로부터 데이터를 수신함에 있어서, 매 프레임마다 상기 데이터의 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성하는 마이크로 컨트롤러(MCU); 및
    상기 생성된 타임 스탬프 데이터를 수신함으로써 상기 타임 스탬프를 획득하고, 상기 타임 스탬프를 획득한 순으로 저장하는 데이터 로깅부
    를 포함하고,
    상기 3차원 맵핑 시스템은,
    위치 측정(Pose-Estimation)과 관련된 상기 복수의 센서로부터 획득한 위치 값을 보정하여 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 데이터를 점군으로 복원하여 3차원 맵을 생성하고,
    상기 마이크로 컨트롤러는,
    single core 구조로 구성되어 단일의 프로그램을 수행하고, 상기 마이크로 컨트롤러의 외부 인터럽트를 이용하여 상기 데이터를 스니핑(Sniffing)하는 방식을 사용하며,
    상기 복수의 센서의 data tx 핀이 상기 마이크로 컨트롤러의 인터럽트 핀에 연결되어 상기 데이터의 매 프레임마다 전송 시작 시간을 체크하여 저장하고, 일정주기로 상기 타임 스탬프 데이터를 상기 데이터 로깅부로 전달하는
    것을 특징으로 하는 3차원 맵핑 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 3차원 맵은,
    GPS 센서, IMU, Wheel encoder 중 적어도 하나의 센서로부터 위치 값을 보정하되 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 거리 데이터를 점군으로 복원하여 생성하는
    것을 특징으로 하는 3차원 맵핑 시스템.
  6. 데이터의 시간 정확도를 향상시키기 위한 마이크로 컨트롤러에 있어서,
    복수의 센서로부터 데이터를 수신하는 수신부;
    상기 복수의 센서로부터 데이터를 수신함에 따라 매 프레임마다 전송 시작 시간을 체크하여 저장하는 저장부;
    상기 매 프레임의 전송 시작 시간을 체크함으로써 타임 스탬프 데이터를 생성하는 생성부; 및
    일정주기로 상기 생성된 타임 스탬프 데이터를 데이터 로깅부로 전송하는 전송부
    를 포함하고,
    상기 마이크로 컨트롤러는,
    single core 구조로 구성되고, 단일의 프로그램을 수행하고, 상기 마이크로 컨트롤러의 외부 인터럽트를 이용하여 상기 데이터를 스니핑(Sniffing)하는 방식을 사용하며,
    상기 복수의 센서의 data tx 핀이 상기 마이크로 컨트롤러의 인터럽트 핀에 연결되어 상기 데이터의 매 프레임의 전송 시작 시간을 체크하고 저장하는
    것을 특징으로 하는 마이크로 컨트롤러.
  7. 삭제
  8. 삭제
  9. 3차원 맵핑 방법에 있어서,
    마이크로 컨트롤러에서 복수의 센서로부터 데이터를 수신함에 따라 매 프레임마다 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성하는 단계;
    데이터 로깅부에서 상기 생성된 타임 스탬프 데이터를 수신함으로써 상기 타임 스탬프를 획득하는 단계; 및
    상기 데이터 로깅부에서 상기 타임 스탬프를 획득한 순으로 저장하는 단계
    를 포함하고,
    상기 3차원 맵핑 방법은,
    위치 측정(Pose-Estimation)과 관련된 상기 복수의 센서로부터 획득한 위치 값을 보정하여 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 거리 데이터를 점군으로 복원하여 3차원 맵을 생성하고,
    상기 마이크로 컨트롤러에서 복수의 센서로부터 데이터를 수신함에 따라 매 프레임마다 전송 시작 시간을 체크하여 저장함으로써 타임 스탬프 데이터를 생성하는 단계는,
    상기 마이크로 컨트롤러가 single core 구조로 구성되어 단일의 프로그램을 수행하고, 상기 마이크로 컨트롤러의 외부 인터럽트를 이용하여 상기 데이터를 스니핑(Sniffing)하는 방식을 사용하며,
    상기 복수의 센서의 data tx 핀이 상기 마이크로 컨트롤러의 인터럽트 핀에 연결되어 상기 데이터의 매 프레임마다 전송 시작 시간을 체크하여 저장하고, 일정주기로 상기 타임 스탬프 데이터를 상기 데이터 로깅부로 전달하는 단계
    를 포함하는 3차원 맵핑 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 3차원 맵은,
    GPS 센서, IMU, Wheel encoder 중 적어도 하나의 센서로부터 위치 값을 보정하되 궤적을 계산하고, 상기 계산된 궤적을 기반으로 LiDAR를 이용하여 획득한 거리 데이터를 점군으로 복원하여 생성하는
    것을 특징으로 하는 3차원 맵핑 방법.
KR1020150101235A 2015-07-16 2015-07-16 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법 KR101690882B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150101235A KR101690882B1 (ko) 2015-07-16 2015-07-16 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150101235A KR101690882B1 (ko) 2015-07-16 2015-07-16 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101690882B1 true KR101690882B1 (ko) 2016-12-28

Family

ID=57724023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150101235A KR101690882B1 (ko) 2015-07-16 2015-07-16 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101690882B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025153A (zh) * 2021-03-05 2022-02-08 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
KR102482048B1 (ko) * 2021-12-23 2022-12-28 주식회사 모빌테크 3d 지도 생성을 위한 궤적 보정 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120024761A (ko) * 2009-05-12 2012-03-14 콸콤 인코포레이티드 로케이션 기반 서비스들에 대한 동적 보고 방식
KR20120099952A (ko) * 2011-03-02 2012-09-12 한국과학기술원 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
KR20130102873A (ko) * 2012-03-08 2013-09-23 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법
KR20140036264A (ko) * 2011-05-26 2014-03-25 크라운 이큅먼트 리미티드 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120024761A (ko) * 2009-05-12 2012-03-14 콸콤 인코포레이티드 로케이션 기반 서비스들에 대한 동적 보고 방식
KR20120099952A (ko) * 2011-03-02 2012-09-12 한국과학기술원 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
KR20140036264A (ko) * 2011-05-26 2014-03-25 크라운 이큅먼트 리미티드 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치
KR20130102873A (ko) * 2012-03-08 2013-09-23 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025153A (zh) * 2021-03-05 2022-02-08 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
CN114025153B (zh) * 2021-03-05 2023-11-21 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
KR102482048B1 (ko) * 2021-12-23 2022-12-28 주식회사 모빌테크 3d 지도 생성을 위한 궤적 보정 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
US10789771B2 (en) Method and apparatus for fusing point cloud data
CN109887057B (zh) 生成高精度地图的方法和装置
US10788830B2 (en) Systems and methods for determining a vehicle position
CN108291813B (zh) 借助姿态图的位置数据融合
US10077054B2 (en) Tracking objects within a dynamic environment for improved localization
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
US20200064837A1 (en) Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
KR20200044420A (ko) 위치 추정 방법 및 장치
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
US20210183100A1 (en) Data processing method and apparatus
KR102168288B1 (ko) 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법
CN112214009B (zh) 传感器数据处理方法、装置、电子设备及系统
CN112017236B (zh) 一种基于单目相机计算目标物位置的方法及装置
CN110658542B (zh) 自动驾驶汽车定位识别方法、装置、设备及存储介质
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
CN111220155A (zh) 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
CN110243364B (zh) 无人机航向确定方法、装置、无人机及存储介质
KR20150097712A (ko) 필터링된 gnss 신호를 제공하기 위한 방법
CN114111775A (zh) 一种多传感器融合定位方法、装置、存储介质及电子设备
CN107764273B (zh) 一种车辆导航定位方法及系统
KR101690882B1 (ko) 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
CN116958452A (zh) 三维重建方法和系统
CN117308972A (zh) 车辆定位方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 4