KR20210133583A - Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 - Google Patents

Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210133583A
KR20210133583A KR1020200052359A KR20200052359A KR20210133583A KR 20210133583 A KR20210133583 A KR 20210133583A KR 1020200052359 A KR1020200052359 A KR 1020200052359A KR 20200052359 A KR20200052359 A KR 20200052359A KR 20210133583 A KR20210133583 A KR 20210133583A
Authority
KR
South Korea
Prior art keywords
coordinates
gps
image pixel
pixel coordinates
color map
Prior art date
Application number
KR1020200052359A
Other languages
English (en)
Other versions
KR102490520B1 (ko
Inventor
김지성
김재승
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020200052359A priority Critical patent/KR102490520B1/ko
Priority to PCT/KR2021/004267 priority patent/WO2021221334A1/ko
Publication of KR20210133583A publication Critical patent/KR20210133583A/ko
Application granted granted Critical
Publication of KR102490520B1 publication Critical patent/KR102490520B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성하는 컬러 맵 생성 방법을 제공한다.
일 실시예에 따른 컬러 맵 생성 방법은 GPS신호를 수신하여 GPS데이터를 형성하는 단계; 상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계; 상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계; 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계; 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.

Description

GPS정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법{APPARATUS FOR BUILDING MAP USING GPS INFORMATION AND LIDAR SIGNAL AND CONTROLLING METHOD THEREOF}
본 발명은 MMS(Mobile Mapping System)에서 수집한 데이터를 이용하여 컬러 맵을 생성하는 기술에 관련된 것이다.
MMS란 카메라, 라이다 등 다양한 원격 감지 시스템과 GPS(Global Positioning System), INS(Inertial Navigation System) 등의 항법 센서를 갖춰 지리 공간 데이터를 수집하는 장치를 의미한다.
라이다를 포함한 MMS에서 수집한 데이터를 이용해 정밀 점군 지도를 구축할 수 있다.
카메라에서 수집한 RGB 이미지 데이터를 이용해 3차원 점군 지도에 색 정보를 추가하는 것이 가능하다.
GPS 신호 및 라이다가 획득한 데이터와 카메라가 획득한 이미지 데이터를 기초로 색 정보가 포함된 맵 정보를 형성할 수 있다.
KR 10-2004-0045050 A에 일부 객체 정보를 제공하는 동작이 개시되어 있으나 맵 정보와 색을 대응시켜 제공하는 동작은 명확하게 개시되지 않았다.
다만 모든 지점에 대하여 상술한 데이터를 이용하여 색 정보가 포함된 맵 정보를 형성하면 장애물이 존재하는 지점에 대응하는 지점에 잘못된 색이 적용되여 정확도가 낮은 맵 정보가 형성될 수 있다. 따라서 장애물과 대응되는 정확한 맵 정보를 형성하는 방법에 대한 연구가 필요한 실정이다.
KR 10-2004-0045050 A
본 발명은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성하는 컬러 맵 생성 방법을 제공한다.
일 실시예에 따른 컬러 맵 생성 방법은 GPS신호를 수신하여 GPS데이터를 형성하는 단계; 상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계; 상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계; 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계; 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
상기 복수의 GPS좌표를 라이다 좌표로 변환하는 단계; 및 상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계;를 포함할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표에 RGB 값을 입력하여 상기 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는, 상기 GPS 데이터에 포함되는 복수의 체크 포인트를 결정하는 단계; 및 상기 복수의 체크 포인트와 대응되는 상기 복수의 GPS 좌표를 상기 이미지 픽셀로 변환하는 단계;를 포함하고, 상기 복수의 체크 포인트는 미리 결정된 기준 거리 이상 이격되도록 결정될 수 있다.
상기 컬러 맵 데이터는, 복수개의 키(key) 정보를 포함하는 해시 맵(Hash map)으로 형성될 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하면,
상기 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하지 않으면, 상기 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고, 상기 추가 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭할 수 있다.
상기 이미지 픽셀 좌표를 군집화하는 단계는, 상기 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화 하는 알고리즘으로 수행될 수 있다.
일 실시예에 따른 컬러 맵 생성 장치는 GPS 신호를 수신하는 통신부; 적어도 하나의 객체의 라이다 좌표를 획득하는 라이다; 이미지 데이터를 획득하는 카메라; GPS신호를 수신하여 GPS데이터를 형성하고,
상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하고, 해시 맵을 형성하여, 상기 이미지 픽셀 좌표를 키 정보로 결정하고, 상기 키 정보와 상기 GPS 데이터 및 컬러 정보를 버켓(bucket)으로 매칭하고, 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하고, 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 제어부;를 포함할 수 있다.
본 발명에 따른 효과는 다음과 같다.
일 실시예에 따른 컬러 맵 생성 방법은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성할 수 있다.
일 실시예에 따른 컬러 맵 생성 방법은 별도의 하드웨어 추가 없이 정확도 높은 맵 정보를 형성하여 비용을 절감할 수 있다.
일 실시예에 따른 컬러 맵 생성 방법은 정확한 맵 정보를 형성하므로서 컬러 맵 정보를 이용하는 사용자의 안전성을 확보할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도1은 일 실시예에 따른 컬러 맵 생성 장치의 제어블럭도이다.
도2는 일 실시예에 따른 컬러 맵 정보를 형성하는 순서도이다.
도3은 일 실시예에 따른 해시 맵을 형성하는 동작을 설명하기 위한 순서도이다.
도4는 일 실시예에 따른 본 발명의 해시 맵(hash map)을 설명하기 위한 도면이다.
도5및 도6는 일 실시예에 따른 GPS 정보, 라이다 정보 및 이미지 정보의 대응 관계를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도1은 일 실시예에 따른 컬러 맵 생성 장치의 제어블럭도이다.
일 실시예에 따른 컬러 맵 생성 장치(10)는 통신부(100), 라이다(300), 카메라(200) 및 제어부(400)를 포함할 수 있다.
통신부(100)는 GPS신호를 수신할 수 있다. 제어부는 통신부가 수신한 GPS신호를 기초로 GPS데이터를 형성할 수 있으며 GPS데이터 각각에 GPS좌표를 대응시킬 수 있다.
라이다(300)는 라이다 신호를 송신 및 수신할 수 있어 주변 물체의 위치 정보를 획득할 수 있다.
또한 카메라(200) 는 주변 이미지를 획득할 수 있다
제어부(400)는 통신부, 라이다 및 카메라가 획득한 데이터를 통합하여 GPS데이터를 카메라가 획득한 이미지 데이터에 투영시킬 수 있다.
도1과 도2를 함께 참고하면, 제어부는 통신부가 수신한 GPS 신호를 기초로 GPS데이터를 형성할 수 있다(S1).
한편 제어부는 GPS데이터의 GPS좌표를 카메라가 획득한 이미지의 픽셀 좌표로 변환할 수 있다(S2).
한편 제어부가 GPS좌표를 이미지 픽셀 좌표로 변환할 때 GPS좌표를 라이다 좌표로 변환하고 변환한 라이다 좌표를 카메라가 획득한 이미지의 이미지 픽셀 좌표로 변환할 수 있다.
한편 본 발명의 전반적인 동작에 있어서 MMS(Mobile Mapping System)가 이용될 수 있다.
일 실시예에 따른MMS에서는 0.1초 주기로 이미지와 라이다 데이터가 수집되고 0.005초 주기로 GPS 데이터를 기록한다.
한편 제어부는 기록된 GPS 데이터를 이용하여 체크포인트를 생성할 수 있다.
한편 본 발명으 카메라는 초당 10회의 속도로 사진이 기록되지만, 해당 사진들을 0.1초 간격으로 모두 투영 원활한 매핑이 어려울 수 있다.
따라서 제어부는 실제로 투영에 이용할 이미지를 일정 거리 차이를 두어서 결정할 수 있다.
즉 제어부는 체크 포인트를 미리 결정된 기준 거리 이상 이격 되도록 결정할 수 있다.
이러한 동작을 위하여 제어부는 기록된 GPS 데이터를 토대로 누적 거리를 계산하고, 일정 거리가 도달했을 때마다 GPS 데이터 인덱스(Data Index)를 저장할 수 있다. 한편 해당 인덱스들은 후술하는 체크 포인트를 의미할 수 있으며 투영 기준점의 위치를 나타낼 수 있다.
즉 제어부는 복수의 체크 포인트와 대응되는 복수의 GPS 좌표를 상기 이미지 픽셀로 변환할 수 있다.
한편 제어부는 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시킬 수 있다. 이러한 동작은 제어부가 이미지 픽셀 좌표를 기초로 해시 맵(hash map)을 형성하여 구현될 수 있다(1003).
한편 제어부가 해시 맵을 형성하는 구체적인 동작은 도3에서 서술한다.
제어부는 복수의 GPS좌표 각각과 대응되는 라이다 좌표의 위치를 기초로 이미지 픽셀 좌표를 군집화 할 수 있다(S4).
구체적으로 체크 포인트 GPS좌표와 이미지 픽셀 좌표의 매칭이 끝나면 카마라 획득한 이미지의 이미지 픽셀 좌표는 라이다가 획득한 라이다 좌표 각각과 대응될 수 있다. 제어부는 각각의 이미지 픽셀 좌표를 유클리드 클러스터링 알고리즘(Euclidean Clustering Algorithm)을 이용하여 서로 가까운 거리에 있는 점들을 군집화 할 수 있다.
한편 유클리드 클러스터링 알고리즘은 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화하는 동작을 포함할 수 있다.
제어부는 라이다 좌표와 가장 가까운 군집화 된 상기 이미지 픽셀 좌표를 기초로 컬러 맵 데이터를 형성할 수 있다.
구체적으로 제어부는 라이다 좌표계 원점을 기준으로 하여 가장 가까운 거리에 있는 군집에 속한 점들을 투영 대상 점으로 설정하고, 나머지 군집들은 색 투영에서 제외할 수 있다.
제어부는 군집화 된 이미지 픽셀 좌표를 기초로 GPS 데이터와 대응되는 컬러 맵 데이터를 형성할 수 있다(S5).
구체적으로 제어부는 원점에서 가장 가까운 군집에 해당하는 점들, 즉 투영 대상점으로 선정된 점들에 대해 해당 픽셀의 RGB 값을 입력하고, 맵에 누적하여 맵 데이터를 형성할 수 있다.
한펴 도1 및 도2에서 설명하는 컬러 맵 생성 장치의 각 구성 및 각 구성에 대응하는 동작은 본 발명의 일 실시예에 불과하고 그 동작의 제한은 없다.
도3은 일 실시예에 따른 해시 맵을 형성하는 동작을 설명하기 위한 순서도이고, 도4는 일 실시예에 따른 본 발명의 해시 맵(hash map)을 설명하기 위한 도면이다.
도3및 도4를 참고하면, 해시 맵은 컴퓨팅에서 키를 값에 매핑할 수 있는 구조인, 연관 배열 추가에 사용되는 자료 구조를 의미할 수 있다. 해시 맵은 해시 함수를 사용하여 색인(index, Key, K41)을 버킷(bucket, B41, B42)으로계산한다.
본 발명에서는 GPS좌표가 라이다 좌표로 변환될 수 있다. 또한 라이다 좌표는 이미지 픽셀 좌표로 대응될 수 있다.
한편 본 발명의 일 실시예에서는 이미지 픽셀 좌표가 해시 맵의 키 정보(Key, K41)에 대응될 수 있고, 해당 키 정보에 GPS좌표에 대응되는 GPS데이터(B41)와 해당 GPS 좌표에 대응되는 컬러 정보(B42)가 각각 버켓에 대응될 수 있다.
구체적으로 제어부는 픽셀 정보를 기초로 해시 맵을 생성하는 동작을 시작할 수 있다(S11).
한편 제어부가 해시 맵 생성을 시작하면 GPS 좌표를 라이다 좌표로 변환할 수 있다(S12).
또한 제어부는 이에 이어서 라이다 좌표를 이미지 픽셀 좌표로 변환할 수 있다(S13).
즉 제어부는 점군 맵이 있다고 가정하고, 각 체크포인트를 기준으로 해서 일정 거리 이하의 점들만 예비 투영 대상으로 결정할 수 있다.
이후제어부는 투영 대상으로 선정된 점들을 점군 맵 생성과정의 역으로 계산하여 라이다 좌표계로 전환시킨다.
제어부는 라이다 좌표계로 전환된 점들을 원근투영변환을 이용해 이미지 픽셀 좌표(pixel_x, pixel_y)로 변환시킨다. 구체적인 변환 과정은 아래에 서술한다.
제어부는 GPS좌표를 아래 수학식1을 이용하여 라이다 좌표료 변환시킬 수 있다.
Figure pat00001
L은 라이다 좌표를 의미한다. RL2I은 라이다에서 IMU로 전환되는 행렬을 의미한다. Rckpt는 체크 포인트의 로테이션 데이터를 의미한다. RI2W는 IMU에서 GPS좌표계의 전환 행렬을 의미한다. W는 GPS좌표를 의미하고 G는 해당 체크 포인트에서의 GPS데이터를 의미한다.
TL2I은 라이다에서 IMU로 변환되는 행렬을 의미한다.
한편 각 좌표계의 로테이션 행렬는 오일러각을 이용한 행렬로 표현될 수 있다. 이와 관련된 행렬은 수학식2와 같다.
Figure pat00002
한편 이렇게 변환된 라이다 좌표는 다시 이미지 픽셀 좌표로 변환될 수 있다. 라이다 좌표가 이미지 픽셀 좌표로 변환되는 동작은 아래의 수학식3을 기초로 구현될 수 있다.
Figure pat00003
수학식3을 참고하면 RL2C는 라이다에서 카메라 로테이션(rotation)의 행렬을 의미한다. TL2C는 라이다에서 카메라 전환(translation) 행렬을 의미한다.
fx 및 fy는 초점 거리를 의미한다. cx 및 cy는 주점을 의미한다.
Pixelx 및 pixely는 이미지 픽셀 좌표를 의미한다.
제어부는 상술한 동작을 기초로 GPS 좌표를 라이다 좌표로 변환하고, 라이다 좌표를 이미지 픽셀 좌표로 변환할 수 있다.
해시 맵에 이렇게 형성된 이미지 픽셀 좌표에 대응되는 키 정보가 존재하면(S14), 제어부는 키 정보에 GPS데이터 및 컬러 정보를 매칭 시켜 해시 맵을 형성할 수 있다(S16).
반면 형성된 이미지 픽셀 좌표에 대응되는 키 정보(K41)가 해시 맵에 존재하지 않으면 제어부는 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고, 추가 등록 키 정보와 GPS 데이터(B41) 및 컬러 정보(B42)를 매칭할 수 있다.
상술한 동작을 제어부는 이미지 픽셀 좌표를 키 정보로하고 GPS데이터와 컬러 정보를 버켓으로 하는 해시 맵을 생성할 수 있다
한편 상술한 동작은 본 발명의 일 실시예에 불과하며 제어부가 이미지 픽셀 좌표와 데이터를 대응시켜 해시맵을 생성하는 동작의 제한은 없다.
도5및 도6는 일 실시예에 따른 GPS 정보, 라이다 정보 및 이미지 정보의 대응 관계를 설명하기 위한 도면이다.
도5 및 도6에서는, 본 발명의 동작을 설명하기 위하여 맵 정보에 있어서 도로 및 숲에 대응되는 컬러 맵 정보를 형성하는 동작을 설명한다.
기존의 컬러 맵은 도5와같이 생성될 수 있다. 기존의 컬러 맵에서는 도로 주변의 물체인 나무의 화분(I52)의 색이 도로(I51)에 입혀지는 문제점이 있었다.
한편 본 발명의 일 실시예에 따른 컬러 맵 생성 장치는 도로의 GPS좌표 및 GPS좌표에 대응되는 GPS데이터를 획득할 수 있다. 한편 컬러 맵 생성 장치는 GPS장치를 변환하여 라이다 좌표를 생성할 수 있다. 또한 생성된 라이다 좌표는 변환되어 이미지 픽셀 좌표로 생성될 수 있다. 도로에 대응되는 이미지 픽셀 좌표는 I61로 생성될 수 있다.
한편 일 실시예 따른 컬러 맵 생성 장치는 도로 주변의 물체의 GPS좌표 및 GPS좌표에 대응되는 GPS데이터를 획득할 수 있다. 한편 컬러 맵 생성 장치는 GPS장치를 변환하여 라이다 좌표를 생성할 수 있다. 또한 생성된 라이다 좌표는 변환되어 이미지 픽셀 좌표로 생성될 수 있다. 도로 주변의 물체인 나무의 화분의 이미지 픽셀 좌표는 I62로 결정될 수 있다.
한편 각 이미지 픽셀 좌표는 해시 맵을 통하여 컬러 정보가 대응될 수 있으므로 도5와 같이 색 정보가 다르게 입히는 것이 아닌 올바르게 입혀질 수 있다.
이러한 동작을 기초로 컬러 맵 생성 장치는 컬러 맵 정보를 생성할 수 있다. 즉 컬러 맵 생성 장치는 도로(I61)에 대응되는 이미지 픽셀 좌표에 해당 객체의 GPS데이터와 컬러 정보를 대응시키고 화분(I62)에 대응되는 이미지 픽셀 좌표에 해당 객체의 GPS데이터와 컬러 정보를 대응시켜 장애물에 가려진 영역에 대해서도 올바른 색 데이터가 적용된 컬러 맵 정보를 생성할 수 있다.
제어부는 도로가 빨강으로 표현된 컬러 맵 정보를 형성할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10 : 컬러 맵 생성 장치
100 : 통신부 200 : 카메라
300 : 라이다 400 : 제어부

Claims (10)

  1. GPS신호를 수신하여 GPS데이터를 형성하는 단계;
    상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계;
    상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계;
    상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계;
    군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함하는 컬러 맵 생성 방법.
  2. 제1항에 있어서,
    상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
    상기 복수의 GPS좌표를 라이다 좌표로 변환하는 단계; 및
    상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계;를 포함하는 컬러 맵 생성 방법.
  3. 제2항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 컬러 맵 데이터를 형성하는 단계;를 포함하는 컬러 맵 생성 방법.
  4. 제3항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표에 RGB 값을 입력하여 상기 컬러 맵 데이터를 형성하는 단계;를 포함하는 컬러 맵 생성 방법.
  5. 제1항에 있어서,
    상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
    상기 GPS 데이터에 포함되는 복수의 체크 포인트를 결정하는 단계; 및
    상기 복수의 체크 포인트와 대응되는 상기 복수의 GPS 좌표를 상기 이미지 픽셀로 변환하는 단계;를 포함하고,
    상기 복수의 체크 포인트는 미리 결정된 기준 거리 이상 이격되도록 결정되는 컬러 맵 생성 방법.
  6. 제1항에 있어서,
    상기 컬러 맵 데이터는,
    복수개의 키(key) 정보를 포함하는 해시 맵(Hash map)으로 형성되는 컬러 맵 생성 방법.
  7. 제6항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하면,
    상기 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭하는 컬러 맵 생성 방법.
  8. 제6항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하지 않으면,
    상기 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고,
    상기 추가 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭하는 컬러 맵 생성 방법.
  9. 제1항에 있어서,
    상기 이미지 픽셀 좌표를 군집화하는 단계는,
    상기 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화 하는 알고리즘으로 수행되는 컬러 맵 생성 방법.
  10. GPS 신호를 수신하는 통신부;
    적어도 하나의 객체의 라이다 좌표를 획득하는 라이다;
    이미지 데이터를 획득하는 카메라;
    GPS신호를 수신하여 GPS데이터를 형성하고,
    상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하고,
    해시 맵을 형성하여, 상기 이미지 픽셀 좌표를 키 정보로 결정하고,
    상기 키 정보와 상기 GPS 데이터 및 컬러 정보를 버켓(bucket)으로 매칭하고,
    상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하고,
    군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 제어부;를 포함하는 컬러 맵 생성 장치.
KR1020200052359A 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 KR102490520B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200052359A KR102490520B1 (ko) 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
PCT/KR2021/004267 WO2021221334A1 (ko) 2020-04-29 2021-04-06 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200052359A KR102490520B1 (ko) 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20210133583A true KR20210133583A (ko) 2021-11-08
KR102490520B1 KR102490520B1 (ko) 2023-01-25

Family

ID=78373629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052359A KR102490520B1 (ko) 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR102490520B1 (ko)
WO (1) WO2021221334A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540634B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891267A (zh) 2016-10-28 2019-06-14 Ppg工业俄亥俄公司 用于增加近红外检测距离的涂层

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040045050A (ko) 2002-11-22 2004-06-01 한국전자통신연구원 스테레오 비디오 또는/및 지리객체의 상세정보 제공 장치및 그방법
KR20150144124A (ko) * 2014-06-16 2015-12-24 재단법인대구경북과학기술원 스테레오 카메라를 이용한 모바일 맵핑 시스템 및 모바일 맵핑 시스템의 포인트 클라우드 생성방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20190064311A (ko) * 2017-11-30 2019-06-10 주식회사 모빌테크 라이다를 이용한 지도 생성 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101826364B1 (ko) * 2012-03-08 2018-02-06 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040045050A (ko) 2002-11-22 2004-06-01 한국전자통신연구원 스테레오 비디오 또는/및 지리객체의 상세정보 제공 장치및 그방법
KR20150144124A (ko) * 2014-06-16 2015-12-24 재단법인대구경북과학기술원 스테레오 카메라를 이용한 모바일 맵핑 시스템 및 모바일 맵핑 시스템의 포인트 클라우드 생성방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20190064311A (ko) * 2017-11-30 2019-06-10 주식회사 모빌테크 라이다를 이용한 지도 생성 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Geiger, Andreas, et al. Vision meets robotics: The kitti dataset. The International Journal of Robotics Research. 2013.* *
Hegeman, James W., et al. Distributed LiDAR data processing in a high-memory cloud-computing environment. Annals of GIS. 2014.* *
Zhang, Ji 외 2명. Real-time depth enhanced monocular odometry. International Conference on Intelligent Robots and Systems. IEEE. 2014.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540634B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
WO2021221334A1 (ko) 2021-11-04
KR102490520B1 (ko) 2023-01-25

Similar Documents

Publication Publication Date Title
US10134196B2 (en) Mobile augmented reality system
US7313252B2 (en) Method and system for improving video metadata through the use of frame-to-frame correspondences
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
US8428344B2 (en) System and method for providing mobile range sensing
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
JP2018128314A (ja) 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法
CN112750203B (zh) 模型重建方法、装置、设备及存储介质
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN113587934B (zh) 一种机器人、室内定位方法、装置和可读存储介质
KR20210133583A (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
KR20180076441A (ko) 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
CN113474819A (zh) 信息处理装置、信息处理方法和程序
EP3475653B1 (en) Integrating point cloud scans, image data, and total station data from a surveying instrument into one adjustment
Woo et al. Vision-based UAV Navigation in Mountain Area.
JP2020015416A (ja) 画像処理装置
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
JP7444292B2 (ja) 検出システム、検出方法、及びプログラム
CN117132728B (zh) 构建地图的方法、装置、电子设备及存储介质
WO2024084925A1 (en) Information processing apparatus, program, and information processing method
KR20180054219A (ko) 전방위 영상의 좌표 맵핑 방법 및 장치
Shahbazi SectorInsights. com—How Good is that Gear? Drones versus Surveyors!

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant