KR20200082109A - 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템 - Google Patents

비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템 Download PDF

Info

Publication number
KR20200082109A
KR20200082109A KR1020180172353A KR20180172353A KR20200082109A KR 20200082109 A KR20200082109 A KR 20200082109A KR 1020180172353 A KR1020180172353 A KR 1020180172353A KR 20180172353 A KR20180172353 A KR 20180172353A KR 20200082109 A KR20200082109 A KR 20200082109A
Authority
KR
South Korea
Prior art keywords
data
point
feature
feature point
lidar
Prior art date
Application number
KR1020180172353A
Other languages
English (en)
Inventor
배기덕
최영호
엄태영
이정우
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020180172353A priority Critical patent/KR20200082109A/ko
Publication of KR20200082109A publication Critical patent/KR20200082109A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템에 관한 것이다. 본 발명의 다른 일 양상인 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템은, 포인트 클라우드(Point Cloud) 데이터를 획득하는 3차원 라이다(Lidar); 이미지 데이터를 획득하는 시각 센서(Vision Sensor); 및 상기 포인트 클라우드 데이터를 기초로 적어도 하나의 제 1 특징점을 추출하고, 상기 이미지 데이터를 기초로 적어도 하나의 제 2 특징점을 추출하는 제어부;를 포함하되, 상기 제어부는, 상기 제 1 특징점 및 제 2 특징점을 융합하고, 상기 제 1 특징점 및 제 2 특징점을 융합한 데이터를 기초로 위치 관련 맵(map)을 생성할 수 있다.

Description

비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템 {Feature data extraction and application system through visual data and LIDAR data fusion}
본 발명은 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템에 관한 것이다. 구체적으로 본 발명은 비주얼 센서의 이미지 영상처리를 이용하여 추출된 특징점과 Lidar의 Point Cloud를 SURF 연산하여 추출된 특징점을 융합하고 이를 활용하여 로봇이 효율적으로 임무를 수행하기 위한 응용 시스템에 관한 것이다.
시각 센서(visual sensor)는 인간의 눈의 작용을 하는 센서로써, 보이는 것의 식별, 자세나 위치, 형상의 식별, 검사, 판정 등을 하게 한다.
이것을 로봇에 응용하면 이들을 영상화하고, 영상처리를 하여 필요한 정보를 뽑아낸다.
인간의 망막과 같은 작용을 하는 시각센서의 대표적인 것은 TV 카메라이다.
수광소자는 대별하여 촬상관과 반도체센서로 나눌 수 있지만, 주로 사용되는 것은 비디콘과 CCD형 반도체 센서이다.
영상은 이들 센서에서 입력되고, 컴퓨터 영상처리를 위해서 디지털 변환이 행해져 영상센싱은 3차원화가 요구되기 때문에, 3차원 센싱법으로서는 모아레 패턴법과 레이저 홀로그래피법, 전자선 홀로그래피법 등이 주목되고 있다.
또한, 시각 센서에서 획득된 정보는 영상 처리를 거칠 수 있다.
영상 처리(Image processing) 또는 화상 처리는 넓게는 입출력이 영상인 모든 형태의 정보 처리를 가리키며, 사진이나 동영상을 처리하는 것이 대표적인 예이다.
대부분의 영상 처리 기법은 화상을 2차원 신호로 보고 여기에 표준적인 신호 처리 기법을 적용하는 방법을 쓴다.
한편, 라이다 측량은 대상체면에 투사한 레이저의 간섭이나 반사를 이용하여 3차원의 위치정보를 취득하는 측량으로서, 대상체에 대한 점 자료(point data) 형태의 점군(point cloud)을 형성하여 3차원 지형공간좌표를 구축한다.
여기서 스캔(scan)밀도는 스캔 시간, 자료의 정확도와 활용성, 데이터의 용량 및 품질 등에 큰 영향을 미치는 중요한 요소로서, 요구되는 대상물의 정밀도에 따라 각각의 스캔 영역을 분리하고 점밀도를 변화시켜가며 스캐닝을 수행한다.
또한, 라이다 측량은 대상 영역의 점밀도를 설정한 후 대상물의 3차원 점군자료의 취득을 의미하며, 대상물의 점군자료 취득 시 장애물과 스캔 계획 등의 오류로 인한 폐쇄 영역이 생성되지 않도록 지상라이다측량 계획을 수립하여야 한다.
기존에는 시각 센서, 라이다 등 각각의 센서 데이터를 처리한 결과를 단독으로 사용하여 위치인식, Mapping 등의 알고리즘을 사용하였는데, 이러한 방법은 Law한 데이터에서 의미있는 Feature를 뽑아내야 하기 때문에 시간이 느리고, 정확도가 떨어진다는 문제점이 존재하였다.
따라서 이러한 문제점을 해소할 수 있는 시스템 및 방법에 대한 니즈가 높아지고 있는 실정이다.
대한민국 특허청 출원번호 제10-2017-0022238호
본 발명은 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템에 관한 것으로, 본 발명은 비주얼 센서의 이미지 영상처리를 이용하여 추출된 특징점과 Lidar의 Point Cloud를 SURF 연산하여 추출된 특징점을 융합하고 이를 활용하여 로봇이 효율적으로 임무를 수행하기 위한 응용 시스템을 사용자에게 제공하고자 한다.
비주얼 센서와 Lidar 센서는 서로 다른 특성을 가지고 있기 때문에 이를 통해 각각 추출된 특징점들 또한 다른 특성을 가지는 의미있는 정보들이므로, 본 발명에서는 비슷하지만 다른 특성을 가지는 이 점들의 집합을 융합하는 관계식을 도출하고 융합된 정보를 바탕으로 위치인식, Mapping 등에 필요한 응용 정보를 생산하는 방법을 제안하고자 한다.
다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법은, 3차원 라이다(Lidar)를 통해 획득한 포인트 클라우드(Point Cloud) 데이터를 기초로 적어도 하나의 제 1 특징점을 추출하고, 시각 센서(Vision Sensor)를 통해 획득한 이미지 데이터를 기초로 적어도 하나의 제 2 특징점을 추출하는 제 1 단계; 상기 제 1 특징점 및 제 2 특징점을 융합하는 제 2 단계; 및 상기 제 1 특징점 및 제 2 특징점을 융합한 데이터를 기초로 위치 관련 맵(map)을 생성하는 제 3 단계;를 포함할 수 있다.
또한, 상기 제 1 단계에서 상기 제 1 특징점은, 상기 3차원 라이다에서 발사된 레이저 펄스가 반사되어 돌아오는 반사 정도를 나타내는 Intensity 값, 상기 포인트 클라우드 데이터의 현재프레임과 이전프레임의 비교를 통한 Planar Point 값 및 객체의 Edge Point 검출 값을 포함할 수 있다.
또한, 상기 제 1 단계에서 상기 제 2 특징점은, 컨볼루션(convolution) 연산을 통해 상기 이미지 데이터 내의 방향성을 검출하는 벡터 마스크를 이용한 수직성분의 값일 수 있다.
또한, 상기 제 3 단계는, 적어도 하나의 로봇을 중심으로, 상기 Intensity 값, Planar Point 값, Edge Point 검출 값 및 수직성분의 값을 융합하여 위치와 관련된 맵(map)을 생성할 수 있다.
또한, 상기 제 3 단계의 맵은, 적어도 하나의 로봇이 임무를 수행하는데 필요한 지도 생성을 위한 Mapping 알고리즘, 상기 적어도 하나의 로봇의 위치 인식을 위한 Localization 알고리즘 및 상기 적어도 하나의 로봇의 주행을 위한 Navigation 알고리즘 중 적어도 하나에 이용 가능할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템은, 포인트 클라우드(Point Cloud) 데이터를 획득하는 3차원 라이다(Lidar); 이미지 데이터를 획득하는 시각 센서(Vision Sensor); 및 상기 포인트 클라우드 데이터를 기초로 적어도 하나의 제 1 특징점을 추출하고, 상기 이미지 데이터를 기초로 적어도 하나의 제 2 특징점을 추출하는 제어부;를 포함하되, 상기 제어부는, 상기 제 1 특징점 및 제 2 특징점을 융합하고, 상기 제 1 특징점 및 제 2 특징점을 융합한 데이터를 기초로 위치 관련 맵(map)을 생성할 수 있다.
또한, 상기 제 1 특징점은, 상기 3차원 라이다에서 발사된 레이저 펄스가 반사되어 돌아오는 반사 정도를 나타내는 Intensity 값, 상기 포인트 클라우드 데이터의 현재프레임과 이전프레임의 비교를 통한 Planar Point 값 및 객체의 Edge Point 검출 값을 포함할 수 있다.
또한, 상기 제 2 특징점은, 컨볼루션(convolution) 연산을 통해 상기 이미지 데이터 내의 방향성을 검출하는 벡터 마스크를 이용한 수직성분의 값일 수 있다.
또한, 상기 제어부는, 적어도 하나의 로봇을 중심으로, 상기 Intensity 값, Planar Point 값, Edge Point 검출 값 및 수직성분의 값을 융합하여 위치와 관련된 맵(map)을 생성할 수 있다.
또한, 상기 맵은, 적어도 하나의 로봇이 임무를 수행하는데 필요한 지도 생성을 위한 Mapping 알고리즘, 상기 적어도 하나의 로봇의 위치 인식을 위한 Localization 알고리즘 및 상기 적어도 하나의 로봇의 주행을 위한 Navigation 알고리즘 중 적어도 하나에 이용 가능할 수 있다.
본 발명은 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템에 관한 것으로, 본 발명은 비주얼 센서의 이미지 영상처리를 이용하여 추출된 특징점과 Lidar의 Point Cloud를 SURF 연산하여 추출된 특징점을 융합하고 이를 활용하여 로봇이 효율적으로 임무를 수행하기 위한 응용 시스템을 사용자에게 제공할 수 있다.
비주얼 센서와 Lidar 센서는 서로 다른 특성을 가지고 있기 때문에 이를 통해 각각 추출된 특징점들 또한 다른 특성을 가지는 의미있는 정보들이므로, 본 발명에서는 비슷하지만 다른 특성을 가지는 이 점들의 집합을 융합하는 관계식을 도출하고 융합된 정보를 바탕으로 위치인식, Mapping 등에 필요한 응용 정보를 생산하는 방법을 사용자에게 제공할 수 있다.
본 발명에 따르면, 기존에 역할이 분리가 되어 사용되던 센서들의 특징점들을 하나로 통합하여 관리 및 사용할 수 있으며 이를 통해 통합 알고리즘의 확장성, 정확성, 신속성을 기대할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 제안하는 시스템의 블록 구성도를 도시한 것이다.
도 2는 본 발명이 제안하는 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법을 설명하는 순서도이다.
도 3은 도 2에서 설명한 순서도 상의 각 단계를 수행하는 일례를 도시한 것이다.
도 4는 본 발명과 관련하여, 3D Lidar Point Cloud Feature 검출의 일례를 도시한 것이다.
도 5는 본 발명과 관련하여, Image 영상처리를 통한 Feature 검출의 일례를 도시한 것이다.
도 6은 본 발명과 관련하여, Feature 퓨전 및 통합 Cloud Map 생성의 일례를 도시한 것이다.
도 7은 본 발명과 관련하여, 로봇에 필요한 정보로 가공 및 사용하는 일례를 도시한 것이다.
계층형 특징정보 추출 및 응용 시스템 구성요소 설명
본 발명이 제안하는 기술에 대한 구체적인 설명에 앞서, 본 발명에 적용되는 계층형 특징정보 추출 및 응용 시스템의 구성요소들을 설명한다.
도 1은 본 발명이 제안하는 계층형 특징정보 추출 및 응용 시스템의 블록 구성를 도시한 것이다.
도 1를 참조하면, 계층형 특징정보 추출 및 응용 시스템(100)은 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다.
단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 계층형 특징정보 추출 및 응용 시스템이 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 계층형 특징정보 추출 및 응용 시스템과 무선 통신 시스템 사이 또는 기기와 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
예를 들어, 무선 통신부(110)는 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 기기, 서버 중 적어도 하나와 무선 신호를 송수신한다.
문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 계층형 특징정보 추출 및 응용 시스템에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-WideBand), ZigBee, 와이파이(Wireless Fidelity, Wi-Fi) 등이 이용될 수 있다.
위치정보 모듈(115)은 계층형 특징정보 추출 및 응용 시스템의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 1를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다.
카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리하고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
다음으로, 원적외선 카메라(122)는 사람이 보지 못하는 적외선 대역의 빛을 투영하여 촬영한다.
FIR의 빛은 LWIR(Long Wavelength Infra-Red)라고도 하며 적외선은 빛의 파장 중 8μm에서 15μm의 대역을 나타내고, FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있다.
원적외선 카메라(122)의 대상인 사람(보행자)의 체온은 10μm의 파장을 가지고, 원적외선 카메라(122)를 통해, 야간에서도 특정 객체에 대한 이미지, 동영상 등을 촬영하는 것이 가능하다.
다음으로, 사용자 입력부(130)는 사용자가 계층형 특징정보 추출 및 응용 시스템의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 계층형 특징정보 추출 및 응용 시스템의 개폐 상태, 계층형 특징정보 추출 및 응용 시스템의 위치, 사용자 접촉 유무, 계층형 특징정보 추출 및 응용 시스템의 방위, 계층형 특징정보 추출 및 응용 시스템의 가속/감속 등과 같이 계층형 특징정보 추출 및 응용 시스템의 현 상태를 감지하여 계층형 특징정보 추출 및 응용 시스템의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.
또한, 본 발명에 따른 센싱부(140)는 LiDAR(light detection and ranging, 141)를 포함할 수 있다.
여기서 LiDAR(141)는 light detection and ranging의 머리 글자를 따서 라이더라고도 한다.
원리적으로는 종래의 레이더에 있어서 마이크로파를 레이저광으로 대치한 것으로서, 표적까지의 거리 측정 장치이다.
레이저광을 사용함으로써 레이더(142)에 비해 거리 측정 정밀도와 방위 분해능, SN 비 등에서 개선된다.
파장이 짧기 때문에 공기중의 미립자도 검출할 수 있다.
레이저 라만 레이더는 라만 산란을 이용하여 특정한 분자를 검출하는 것으로서, 대기나 해상 오염의 감시에 쓰이고 있다.
본 발명에서는 LiDAR(141)는 차량의 전방 등에 위치한 객체를 인식함과 동시에 제어부(180)가 ROI(Region of Interest)의 생성함에 있어 연산량을 대폭 감소시키고, 더 높은 정확도를 갖는 전방 정보를 운전자가 사전에 알 수 있도록 할 수 있다.
또한, 본 발명에 따른 센싱부(140)는 RADAR(Radio Detecting And Ranging, 142)를 포함할 수 있다.
여기서 RADAR(142)는 무선탐지와 거리측정(Radio Detecting And Ranging)의 약어로 마이크로파(극초단파, 10cm~100cm 파장) 의 전자기파를 물체에 발사시켜 그 물체에서 반사되는 전자기파를 수신하여 물체와의 거리, 방향, 고도 등을 알아내는 무선감시장치이다.
RADAR(142)에 이용되는 마이크로파는 파장이 길어서 빛과 같은 직진성을 가지며 전리층에서 반사되지 않으므로 방향성 안테나에서 발산된 전파는 목표물까지 직선으로 진행한 후 반사하여 돌아온다.
이때, 반사되어 돌아온 전자기파의 시간을 측정하여 목표물의 거리, 방향, 고도를 알아낼 수 있으며, 이러한 정보를 통해 목표물의 위치, 지형, 구름의 형성 등을 알아낸다.
레이더(142)를 이용하여 광학적 방법보다 더 정밀한 거리 측정이 가능하며 위성의 표면 상태에 대한 연구가 가능하다.
레이더(142)는 구름의 물방울, 얼음 결정, 빗방울, 우박 등도 감지할 수 있기 때문에 기상학에서도 지상 레이더나 공중 레이더의 정보를 이용하여 수백km 떨어진 곳의 폭풍을 탐지하고 추적할 수 있다.
레이더(142)의 회로 및 보조기구들이 소형화되면서 휴대가 가능하게 되면서, 경찰이 사용하는 속도감지용 레이더건(radar gun)이나 광학 레이더 탐지 소자(optical radar sensory device)를 이용하여 맹인을 위한 지팡이에 레이더 기술을 사용하기도 한다.
본 발명에서는 RADAR(142)는 차량의 전방 등에 위치한 객체를 인식함과 동시에 제어부(180)가 ROI(Region of Interest)의 생성함에 있어 연산량을 대폭 감소시키고, 더 높은 정확도를 갖는 전방 정보를 운전자가 사전에 알 수 있도록 할 수 있다.
또한, 비쥬얼 센서(visual sensor, 143)은 시각 센서라고도 호칭하고, 인간의 눈의 작용을 하는 센서로써, 보이는 것의 식별, 자세나 위치, 형상의 식별, 검사, 판정 등을 하게 한다.
이것을 로봇에 응용하면 이들을 영상화하고, 영상처리를 하여 필요한 정보를 뽑아내고, 인간의 망막과 같은 작용을 하는 시각센서의 대표적인 것은 TV 카메라이다.
수광소자는 대별하여 촬상관과 반도체센서로 나눌 수 있지만, 주로 사용되는 것은 비디콘과 CCD형 반도체 센서이다,
또한, 영상은 이들 센서에서 입력되고, 컴퓨터 영상처리를 위해서 디지털 변환이 행해져 영상센싱은 3차원화가 요구되기 때문에, 3차원 센싱법으로서는 모아레 패턴법과 레이저 홀로그래피법, 전자선 홀로그래피법 등이 주목되고 있다.
또한, 시각 센서에서 획득된 정보는 영상 처리를 거칠 수 있는데, 영상 처리(Image processing) 또는 화상 처리는 넓게는 입출력이 영상인 모든 형태의 정보 처리를 가리키며, 사진이나 동영상을 처리하는 것이 대표적인 예이다.
한편, 출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155), 헤드업 디스플레이(head-up display, HUD), 헤드 마운티드 디스플레이(head mounted display, HMD) 등이 포함될 수 있다.
디스플레이부(151)는 계층형 특징정보 추출 및 응용 시스템에서 처리되는 정보를 표시(출력)한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 계층형 특징정보 추출 및 응용 시스템 바디의 디스플레이부(151)가 차지하는 영역을 통해 계층형 특징정보 추출 및 응용 시스템 바디의 후방에 위치한 사물을 볼 수 있다.
계층형 특징정보 추출 및 응용 시스템의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 계층형 특징정보 추출 및 응용 시스템에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 계층형 특징정보 추출 및 응용 시스템의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 계층형 특징정보 추출 및 응용 시스템에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 계층형 특징정보 추출 및 응용 시스템의 이벤트 발생을 알리기 위한 신호를 출력한다.
알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.
상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다.
예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 계층형 특징정보 추출 및 응용 시스템의 구성 태양에 따라 2개 이상이 구비될 수 있다.
프로젝터 모듈(155)은, 계층형 특징정보 추출 및 응용 시스템을 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(155)은, 계층형 특징정보 추출 및 응용 시스템의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 계층형 특징정보 추출 및 응용 시스템의 어느 위치에라도 구비될 수 있음은 당연하다.
또한, 헤드업 디스플레이(head-up display, HUD, 156)는 차량 등에서 차량 현재 속도, 연료 잔량, 내비게이션 길안내 정보 등을 운전자 바로 앞 유리창 부분에 그래픽 이미지로 투영해주는 장치를 의미한다.
원적외선 카메라(122)를 통해 획득된 정보는 상기 헤드업 디스플레이(156)를 통해 출력되는 것도 가능하다.
또한, 헤드 마운티드 디스플레이(head mounted display, HMD, 157)는 가상 현실(Virtual reality) 정보를 출력할 수 있는 대표적인 장치이다.
가상 현실(Virtual reality)이란 컴퓨터를 통해 어떤 특정한 환경이나 상황을 입체감있는 3D 컨텐츠로 제작하여, 그 3D 컨텐츠를 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스 등을 총칭한다.
일반적으로 사람이 지각하는 입체감은 관찰하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용하여 생긴다.
그 중 사람이 입체감을 느끼는 가장 중요한 요인은, 사람의 두 눈이 가로 방향으로 약 6.5㎝가량 떨어져 있음으로써, 나타나게 되는 양안 시차(binocular disparity)이다. 즉, 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있는 것이다.
이러한 입체감있는 3D 컨텐츠들은 이미 여러 미디어 분야에 두루 이용되어 소비자들로부터 호평을 받아오고 있다. 예를 들어 3D 영화, 3D 게임 및 체험 디스플레이와 같은 것들이 대표적이다.
이와 같이 가상 현실 기술 3D 컨텐츠들의 보편화와 더불어, 더욱 몰입도 높은 가상 현실 서비스를 제공할 수 있는 기술의 개발이 다각적으로 요구되고 있다.
일반적으로 이미지 디스플레이 장치는 눈과 매우 근접한 위치에서 발생하는 영상광을 정밀한 광학 장치를 이용하여 먼 거리에 가상의 대형화면이 구성될 수 있도록 초점을 형성함으로써 사용자로 하여금 확대된 허상을 볼 수 있도록 하는 화상 표시 장치를 말한다.
또한, 이미지 디스플레이 장치는, 주위 환경은 볼 수 없고 디스플레이 소자에서 발산된 영상광만을 볼 수 있는 밀폐형(See-close)과, 윈도우를 통해 주위 환경을 볼 수 있으면서도 디스플레이 소자에서 발산된 영상광을 동시에 볼 수 있는 투과식(See-through)으로 나뉠 수 있다.
본 발명에 따른 헤드 마운티드 디스플레이(head mounted display, HMD, 157)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD(157)는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.
예를 들어, HMD(157)에 마이크와 스피커가 장착되는 경우, 유저는 HMD(157)를 착용한 상태에서, 전화 통화를 수행할 수 있다. 또한, 예를 들어, HMD(157)에 원적외선 카메라(122)가 장착되는 경우, 유저는 HMD(157)를 착용한 상태에서, 유저가 원하는 방향의 이미지를 캡쳐할 수 있다.
또한, 메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 계층형 특징정보 추출 및 응용 시스템은 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 계층형 특징정보 추출 및 응용 시스템에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 계층형 특징정보 추출 및 응용 시스템 내부의 각 구성 요소에 전달하거나, 계층형 특징정보 추출 및 응용 시스템 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 계층형 특징정보 추출 및 응용 시스템의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 계층형 특징정보 추출 및 응용 시스템과 연결될 수 있다.
상기 인터페이스부는 계층형 특징정보 추출 및 응용 시스템이 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 계층형 특징정보 추출 및 응용 시스템에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동기기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 계층형 특징정보 추출 및 응용 시스템의 전반적인 동작을 제어한다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
기존에는 시각 센서, 라이다 등 각각의 센서 데이터를 처리한 결과를 단독으로 사용하여 위치인식, Mapping 등의 알고리즘을 사용하였는데, 이러한 방법은 Law한 데이터에서 의미있는 Feature를 뽑아내야 하기 때문에 시간이 느리고, 정확도가 떨어진다는 문제점이 존재하였다.
따라서 이러한 문제점을 해소할 수 있는 시스템 및 방법에 대한 니즈가 높아지고 있는 실정이고, 본 발명은 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템에 관한 것으로, 상기한 문제점의 해소를 위해, 본 발명은 비주얼 센서의 이미지 영상처리를 이용하여 추출된 특징점과 Lidar의 Point Cloud를 SURF 연산하여 추출된 특징점을 융합하고 이를 활용하여 로봇이 효율적으로 임무를 수행하기 위한 응용 시스템을 사용자에게 제공하고자 한다.
특히, 비주얼 센서와 Lidar 센서는 서로 다른 특성을 가지고 있기 때문에 이를 통해 각각 추출된 특징점들 또한 다른 특성을 가지는 의미있는 정보들이므로, 본 발명에서는 비슷하지만 다른 특성을 가지는 이 점들의 집합을 융합하는 관계식을 도출하고 융합된 정보를 바탕으로 위치인식, Mapping 등에 필요한 응용 정보를 생산하는 방법을 제안하고자 한다.
계층형 특징정보 추출 및 응용 시스템의 적용
본 명세서에서 제안하는 시스템은, 로봇에 부착된 비주얼 센서와 3D Lidar를 통해 로봇의 주변 환경의 의미 있는 특징점을 추출하고 각각의 센서를 통해 검출된 결과의 특징점들을 융합하여 로봇의 자율 주행에 필요한 시스템을 구축한다.
이는 비주얼 센서의 이미지 영상처리를 이용하여 추출된 특징점과 Lidar의 Point Cloud를 SURF 연산하여 추출된 특징점, 2가지 다른 특성을 가지는 특징점을 융합하고 이를 활용하여 로봇이 효율적으로 임무를 수행하기 위한 응용 시스템을 개발하기 위함이다.
기존의 기술은 각각의 센서 데이터를 처리한 결과를 단독으로 사용하여 위치인식, Mapping 등의 알고리즘을 사용한 반면 본 발명은 데이터 수집 단계에서의 융합을 통해 추후 하나의 통합된 알고리즘을 사용 가능하다.
이는 Law한 데이터에서 의미있는 Feature를 뽑아내는 종래의 기술에 반해 의미있게 뽑힌 데이터에서 좀더 빠르고 정확하게 Feature를 뽑을 수 있음을 뜻한다.
비주얼 센서(143)와 Lidar 센서(141)는 서로 다른 특성을 가지고 있기 때문에 이를 통해 각각 추출된 특징점들 또한 다른 특성을 가지는 의미있는 정보들이다.
본 발명에서는 비슷하지만 다른 특성을 가지는 이 점들의 집합을 융합하는 관계식을 도출하고 융합된 정보를 바탕으로 위치인식, Mapping 등에 필요한 응용 정보를 생산하는 방법을 제안한다.
도 2는 본 발명이 제안하는 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법을 설명하는 순서도이다.
또한, 도 3은 도 2에서 설명한 순서도 상의 각 단계를 수행하는 일례를 도시한 것이다.
도 1에서 설명한 본 발명의 구성 및 도 2 및 도 3을 참조하면, 가장 먼저, 3D Lidar(141)의 Point Cloud를 분석하는 단계(S10)가 진행된다.
이후, 의미 있는 Laser Feature를 검출하는 단계(S20)가 진행된다.
S10 및 S20 단계에서는, 3D Lidar(141)의 Point Cloud를 분석하여 의미 있는 Laser Feature를 검출하게 된다.
도 4는 본 발명과 관련하여, 3D Lidar Point Cloud Feature 검출의 일례를 도시한 것이다.
도 4의 (a), (b) 및 (c)를 참조하면, Lidar의 반사 정도를 나타내는 Intensity 값과 현재프레임과 이전프레임의 Cloud 데이터 비교를 통한 Planar Point와 Edge Point 검출의 일례가 도시된다.
또한, 도 4의 (c)를 참조하면, 주변 점들간의 반사정도가 비슷하고 연속적이면 Planar, 주변 점들과 반사정도의 차이가 크고 비연속적이면 Edge인 특성이 도시된다.
여기서 노란색은 Edge, 빨간색점은 Planar를 의미한다.
S20 단계 이후, 제어부(180)가 Vision Sensor(130)의 Image 정보를 영상처리하여 Image Feature를 검출하는 단계(S30)가 진행된다.
도 5는 S30 단계와 관련하여, Image 영상처리를 통한 Feature 검출의 일례를 도시한 것이다.
도 5를 참조하면, 주로 높이가 높은 전봇대나 기둥 같은 것이 특징점으로 유리하다.
또한, convolution 연산을 통해 이미지 영역의 방향성을 검출하는 벡터 마스크를 이용한 수직성분의 Feature를 추출할 수 있다.
S30 단계 이후, 제어부(180)는 Laser Feature와 Image Feature에 대해 Feature Fusion을 수행한다(S40).
도 6은 S40 단계와 관련하여, Feature 퓨전 및 통합 Cloud Map 생성의 일례를 도시한 것이다.
도 6을 참조하면, 3D Lidar(141)를 통해 검출한 Planar, Edge Point와 이미지를 통해 검출한 수직 성분 Feature들을 로봇을 중심으로 한 통합 Coordinate를 기반으로 하나의 Point Cloud Map으로 생성할 수 있다.
S40 단계 이후, 제어부(180)는 결과물을 이용하여 로봇이 임무를 수행하는데 필요한 지도를 위한 Mapping, 위치인식을 위한 Localization, 주행을 위한 Navigation 알고리즘 등을 위한 응용 프로그램을 생성하는 단계(S50)를 수행한다.
도 7은 S50 단계와 관련하여, 로봇에 필요한 정보로 가공 및 사용하는 일례를 도시한 것이다.
도 7을 참조하면, 통합 Point Cloud Map을 상황에 따라 다양하게 가공하여 로봇의 임무에 필요한 정보생성 및 임무 수행하게 된다.
즉, 본 발명은 3D Lidar(141)의 Point Cloud를 분석하여 의미 있는 Laser Feature를 검출하고, Vision Sensor(143)의 Image 정보를 영상처리하여 Image Feature를 검출하여 Feature Fusion을 수행한다.
그리고 그 결과물을 이용하여 로봇이 임무를 수행하는데에 필요한 지도를 위한 Mapping, 위치인식을 위한 Localization, 주행을 위한 Navigation 알고리즘 등을 위한 응용 프로그램을 생성하게 된다.
본 발명은 비주얼 센서(143)의 이미지 데이터에서 특징점을 추출하는 특징, 3D Lidar(141)의 Point Cloud 데이터에서 특징점을 추출하는 특징, 추출된 두가지 특징점을 융합하는 특징 및 융합된 통합 특징점 데이터 베이스를 이용하여 응용 프로그램을 작성하는 특징을 통해 전술한 기존의 문제점들을 해소할 수 있다.
즉, 기존에 역할이 분리가 되어 사용되던 센서들의 특징점들을 하나로 통합하여 관리 및 사용할 수 있으며 이를 통해 통합 알고리즘의 확장성, 정확성, 신속성을 기대할 수 있다.
계층형 특징정보 추출 및 응용 시스템에 따른 효과
본 발명은 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템에 관한 것으로, 본 발명은 비주얼 센서의 이미지 영상처리를 이용하여 추출된 특징점과 Lidar의 Point Cloud를 SURF 연산하여 추출된 특징점을 융합하고 이를 활용하여 로봇이 효율적으로 임무를 수행하기 위한 응용 시스템을 사용자에게 제공할 수 있다.
비주얼 센서와 Lidar 센서는 서로 다른 특성을 가지고 있기 때문에 이를 통해 각각 추출된 특징점들 또한 다른 특성을 가지는 의미있는 정보들이므로, 본 발명에서는 비슷하지만 다른 특성을 가지는 이 점들의 집합을 융합하는 관계식을 도출하고 융합된 정보를 바탕으로 위치인식, Mapping 등에 필요한 응용 정보를 생산하는 방법을 사용자에게 제공할 수 있다.
본 발명에 따르면, 기존에 역할이 분리가 되어 사용되던 센서들의 특징점들을 하나로 통합하여 관리 및 사용할 수 있으며 이를 통해 통합 알고리즘의 확장성, 정확성, 신속성을 기대할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (10)

  1. 3차원 라이다(Lidar)를 통해 획득한 포인트 클라우드(Point Cloud) 데이터를 기초로 적어도 하나의 제 1 특징점을 추출하고, 시각 센서(Vision Sensor)를 통해 획득한 이미지 데이터를 기초로 적어도 하나의 제 2 특징점을 추출하는 제 1 단계;
    상기 제 1 특징점 및 제 2 특징점을 융합하는 제 2 단계; 및
    상기 제 1 특징점 및 제 2 특징점을 융합한 데이터를 기초로 위치 관련 맵(map)을 생성하는 제 3 단계;를 포함하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법.
  2. 제 1항에 있어서,
    상기 제 1 단계에서 상기 제 1 특징점은,
    상기 3차원 라이다에서 발사된 레이저 펄스가 반사되어 돌아오는 반사 정도를 나타내는 Intensity 값, 상기 포인트 클라우드 데이터의 현재프레임과 이전프레임의 비교를 통한 Planar Point 값 및 객체의 Edge Point 검출 값을 포함하는 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법.
  3. 제 2항에 있어서,
    상기 제 1 단계에서 상기 제 2 특징점은,
    컨볼루션(convolution) 연산을 통해 상기 이미지 데이터 내의 방향성을 검출하는 벡터 마스크를 이용한 수직성분의 값인 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법.
  4. 제 3항에 있어서,
    상기 제 3 단계는,
    적어도 하나의 로봇을 중심으로, 상기 Intensity 값, Planar Point 값, Edge Point 검출 값 및 수직성분의 값을 융합하여 위치와 관련된 맵(map)을 생성하는 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법.
  5. 제 1항에 있어서,
    상기 제 3 단계의 맵은,
    적어도 하나의 로봇이 임무를 수행하는데 필요한 지도 생성을 위한 Mapping 알고리즘, 상기 적어도 하나의 로봇의 위치 인식을 위한 Localization 알고리즘 및 상기 적어도 하나의 로봇의 주행을 위한 Navigation 알고리즘 중 적어도 하나에 이용 가능한 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 방법.
  6. 포인트 클라우드(Point Cloud) 데이터를 획득하는 3차원 라이다(Lidar);
    이미지 데이터를 획득하는 시각 센서(Vision Sensor); 및
    상기 포인트 클라우드 데이터를 기초로 적어도 하나의 제 1 특징점을 추출하고, 상기 이미지 데이터를 기초로 적어도 하나의 제 2 특징점을 추출하는 제어부;를 포함하되,
    상기 제어부는,
    상기 제 1 특징점 및 제 2 특징점을 융합하고,
    상기 제 1 특징점 및 제 2 특징점을 융합한 데이터를 기초로 위치 관련 맵(map)을 생성하는 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템.
  7. 제 6항에 있어서,
    상기 제 1 특징점은,
    상기 3차원 라이다에서 발사된 레이저 펄스가 반사되어 돌아오는 반사 정도를 나타내는 Intensity 값, 상기 포인트 클라우드 데이터의 현재프레임과 이전프레임의 비교를 통한 Planar Point 값 및 객체의 Edge Point 검출 값을 포함하는 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템.
  8. 제 7항에 있어서,
    상기 제 2 특징점은,
    컨볼루션(convolution) 연산을 통해 상기 이미지 데이터 내의 방향성을 검출하는 벡터 마스크를 이용한 수직성분의 값인 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템.
  9. 제 8항에 있어서,
    상기 제어부는,
    적어도 하나의 로봇을 중심으로, 상기 Intensity 값, Planar Point 값, Edge Point 검출 값 및 수직성분의 값을 융합하여 위치와 관련된 맵(map)을 생성하는 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템.
  10. 제 6항에 있어서,
    상기 맵은,
    적어도 하나의 로봇이 임무를 수행하는데 필요한 지도 생성을 위한 Mapping 알고리즘, 상기 적어도 하나의 로봇의 위치 인식을 위한 Localization 알고리즘 및 상기 적어도 하나의 로봇의 주행을 위한 Navigation 알고리즘 중 적어도 하나에 이용 가능한 것을 특징으로 하는 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템.
KR1020180172353A 2018-12-28 2018-12-28 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템 KR20200082109A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180172353A KR20200082109A (ko) 2018-12-28 2018-12-28 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172353A KR20200082109A (ko) 2018-12-28 2018-12-28 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템

Publications (1)

Publication Number Publication Date
KR20200082109A true KR20200082109A (ko) 2020-07-08

Family

ID=71601251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172353A KR20200082109A (ko) 2018-12-28 2018-12-28 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템

Country Status (1)

Country Link
KR (1) KR20200082109A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950696A (zh) * 2021-02-03 2021-06-11 珠海格力智能装备有限公司 导航地图的生成方法及生成装置、电子设备
WO2022089488A1 (zh) * 2020-10-29 2022-05-05 深圳市普渡科技有限公司 自动回充方法及系统
KR20220084910A (ko) * 2020-12-14 2022-06-21 주식회사 카카오모빌리티 벡터 맵을 이용한 이동체의 맵 매칭 위치 추정 방법
KR20220116972A (ko) * 2021-02-16 2022-08-23 한국생산기술연구원 다차원 센서 데이터 기반 객체인식장치 및 방법
WO2023132638A1 (ko) * 2022-01-05 2023-07-13 삼성전자주식회사 로봇 및 로봇의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022238A (ko) 2015-08-19 2017-03-02 대우조선해양 주식회사 시뮬레이션을 이용한 조선소 안벽 부하 예측 및 안벽 배치를 위한 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022238A (ko) 2015-08-19 2017-03-02 대우조선해양 주식회사 시뮬레이션을 이용한 조선소 안벽 부하 예측 및 안벽 배치를 위한 시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022089488A1 (zh) * 2020-10-29 2022-05-05 深圳市普渡科技有限公司 自动回充方法及系统
KR20220084910A (ko) * 2020-12-14 2022-06-21 주식회사 카카오모빌리티 벡터 맵을 이용한 이동체의 맵 매칭 위치 추정 방법
CN112950696A (zh) * 2021-02-03 2021-06-11 珠海格力智能装备有限公司 导航地图的生成方法及生成装置、电子设备
KR20220116972A (ko) * 2021-02-16 2022-08-23 한국생산기술연구원 다차원 센서 데이터 기반 객체인식장치 및 방법
WO2023132638A1 (ko) * 2022-01-05 2023-07-13 삼성전자주식회사 로봇 및 로봇의 제어 방법

Similar Documents

Publication Publication Date Title
US11054650B2 (en) Head-mounted display device, control method of head-mounted display device, and display system
US9395543B2 (en) Wearable behavior-based vision system
CN109313500B (zh) 纤细形状因子的无源光学和惯性跟踪
KR20200082109A (ko) 비주얼 데이터와 3D LiDAR 데이터 융합 기반 계층형 특징정보 추출 및 응용 시스템
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
US9105210B2 (en) Multi-node poster location
US20150379770A1 (en) Digital action in response to object interaction
US11249305B2 (en) Head-mounted display device and operating method of the same for determining a measurement parameter
US20130282345A1 (en) Context aware surface scanning and reconstruction
US20140002496A1 (en) Constraint based information inference
US20160117864A1 (en) Recalibration of a flexible mixed reality device
US20140152558A1 (en) Direct hologram manipulation using imu
CN109154499A (zh) 用于增强立体显示的系统和方法
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
CN114761909A (zh) 针对头戴式显示器的内容稳定
JP2015114757A (ja) 情報処理装置、情報処理方法及びプログラム
KR102243903B1 (ko) 복합재난 사고대응 지원용 지휘통제시스템
KR101944607B1 (ko) 차량의 위치 파악을 위한 안내표지판 내의 거리 정보를 습득하는 시스템 및 방법
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
US20210390882A1 (en) Blind assist eyewear with geometric hazard detection
JP2016033611A (ja) 情報提供システム、表示装置、および、表示装置の制御方法
KR101935853B1 (ko) 라이다 및 레이더를 이용한 나이트 비전 시스템
CN113661433B (zh) 头戴式显示设备及其操作方法
KR101678447B1 (ko) 이동 단말기 및 이동 단말기의 영상 표시 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application