KR102311718B1 - 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램 - Google Patents

자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램 Download PDF

Info

Publication number
KR102311718B1
KR102311718B1 KR1020200153134A KR20200153134A KR102311718B1 KR 102311718 B1 KR102311718 B1 KR 102311718B1 KR 1020200153134 A KR1020200153134 A KR 1020200153134A KR 20200153134 A KR20200153134 A KR 20200153134A KR 102311718 B1 KR102311718 B1 KR 102311718B1
Authority
KR
South Korea
Prior art keywords
marker
data
information
predetermined space
sensor data
Prior art date
Application number
KR1020200153134A
Other languages
English (en)
Inventor
신동혁
이중희
허승회
Original Assignee
(주)에바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에바 filed Critical (주)에바
Priority to KR1020200153134A priority Critical patent/KR102311718B1/ko
Application granted granted Critical
Publication of KR102311718B1 publication Critical patent/KR102311718B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B60W30/146—Speed limiting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Abstract

자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 단계, 상기 수집된 센서 데이터를 이용하여 상기 하나 이상의 객체에 부착된 마커의 실제 위치를 측정하는 단계 및 상기 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 단계를 포함한다.

Description

자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR SAVING AND MANAGING MARKER INFORMATION TO CONTROL AUTOMATIC DRIVING VEHICLE}
본 발명의 다양한 실시예는 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램에 관한 것이다.
차량을 운전하는 사용자들의 편의를 위하여, 각종 센서와 전자 장치 등(예: 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 구비되고 있는 추세이며, 특히, 운전자의 개입 없이 주변 환경을 인식하고, 인식된 주변 환경에 따라 스스로 주어진 목적지까지 자동으로 주행하는 차량의 자율 주행 시스템(Autonomous driving System)에 대한 기술 개발이 활발하게 이루어지고 있다.
여기서, 자율주행 차량은 운전자의 개입 없이 주변 환경을 인식하고, 인식된 주변 환경에 따라 스스로 주어진 목적지까지 자동으로 주행하는 자율주행 시스템 기능을 탑재한 차량을 말한다.
자율주행 차량은 다수의 센서들을 차량에 탑재함으로써, 차량 주변의 상황을 인지하고, 이를 기반으로 차량의 움직임을 스스로 제어하는 방식으로 동작한다.
종래에는, 지하 주차장과 같이 실내에서 자율주행 차량을 제어(예: 차량의 주차 등)하는 경우, 자율주행 차량의 위치를 정확하게 파악하는데 어려움이 있기 때문에, 지하 주차장 기둥 등에 별도로 부착된 마커를 인식하여 자율주행 차량의 위치를 판단하고, 마커를 통해 판단된 자율주행 차량의 위치에 따라 자율주행 차량의 동작을 제어하였다.
그러나, 자율주행 차량의 제어를 위한 마커는 지하 주차장의 기둥과 같은 대상에 사람이 직접 부착하기 때문에 휴먼 에러가 발생할 수 있고, 이에 따라 자율주행 차량의 제어 오류를 야기시킬 수 있다는 문제가 있다.
또한, 기둥에 부착된 마커를 의도적으로 훼손하거나 외부의 요인에 의해 의도하지 않게 마커의 위치가 변경될 경우, 자율주행 차량의 제어를 원활하게 수행하지 못하거나, 의도와 다르게 제어되어 사고가 발생할 수 있다는 문제가 있다.
본 발명이 해결하고자 하는 과제는 소정의 공간에 포함된 복수의 마커 각각의 실제 위치를 측정하고, 이를 이용하여 복수의 마커 각각의 위치를 가리키는 마커별 위치 데이터를 갱신함으로써, 위치 센서(예: GPS 센서 등)를 통해 대상의 위치 정보를 정확하게 수집하기 어려운 실내 공간(예: 지하 주차장 등)에서 복수의 마커 각각에 대한 정확한 위치를 설정하여 정확한 자율주행 차량 제어를 가능하도록 하는 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 단계, 상기 수집된 센서 데이터를 이용하여 상기 하나 이상의 객체에 부착된 마커의 실제 위치를 측정하는 단계 및 상기 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 소정의 공간에 대한 지도 데이터를 획득하는 단계, 상기 획득된 지도 데이터를 분석하여 상기 소정의 공간에 포함된 복수의 객체를 추출하는 단계, 상기 추출된 복수의 객체에 각각에 부착된 복수의 마커를 식별하고, 상기 식별된 복수의 마커 각각에 마커 번호를 부여하는 단계 및 상기 복수의 마커 각각에 부여된 마커 번호와 상기 복수의 마커 각각의 위치 정보를 매칭하여 상기 소정의 공간에 대한 마커별 위치 데이터를 생성하는 단계를 더 포함할 수 있다.
다양한 실시예에서, 상기 하나 이상의 객체에 부착된 마커는 하나 이상의 리플렉터(Reflector)를 포함하고, 상기 센서 데이터는 위치 측정 장치에 구비된 라이다(Lidar) 센서를 통해 상기 소정의 공간을 감지함으로써 생성된 라이다 센서 데이터를 포함하며, 상기 마커의 실제 위치를 측정하는 단계는, 상기 라이다 센서 데이터를 분석하여 상기 하나 이상의 리플렉터를 식별하고, 상기 식별된 하나 이상의 리플렉터를 이용하여 상기 마커의 실제 위치를 측정하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 센서 데이터는 위치 측정 장치에 구비된 카메라 센서를 통해 상기 마커를 촬영함으로써 생성된 영상 데이터와 상기 위치 측정 장치에 구비된 라이다(Lidar) 센서를 통해 상기 소정의 공간을 감지함으로써 생성된 라이다 센서 데이터를 포함하며, 상기 마커의 실제 위치를 측정하는 단계는, 상기 영상 데이터를 분석하여 상기 마커의 제1 위치를 측정하는 단계 및 상기 라이다 센서 데이터를 이용하여 상기 위치 측정 장치의 이동 경로를 판단하고, 상기 판단된 위치 측정 장치의 이동 경로를 이용하여 상기 위치 측정 장치와 상기 마커 사이의 거리 및 각도를 산출하며, 상기 산출된 거리 및 각도를 이용하여 상기 측정된 제1 위치를 보정하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 기 저장된 마커별 위치 데이터를 이용하여 상기 소정의 공간에 포함된 복수의 마커 각각의 위치를 나타내는 마커 맵을 생성하는 단계를 더 포함하며, 상기 마커 맵을 생성하는 단계는, 위치 측정 장치에 구비된 라이다(Lidar) 센서를 이용하여 상기 소정의 공간을 감지함으로써 생성된 센서 데이터를 이용하여 상기 소정의 공간에 대한 3차원 포인트 클라우드 상에서 상기 마커의 위치에 대응되는 2차원 좌표 값을 추출하는 단계 및 상기 소정의 공간에 대한 2차원 데이터를 기 설정된 단위 크기를 가지는 격자 형태로 분할하여 격자 형태의 2차원 마커 맵을 생성하고, 상기 생성된 격자 형태의 2차원 마커 맵 상에 상기 추출된 2차원 좌표 값을 기록하는 단계를 포함할 수 있다.
상기 소정의 공간을 주행하는 위치 측정 장치의 위치와 상기 복수의 마커 각각의 위치 사이의 거리 및 방향에 관한 하나 이상의 벡터 정보를 기록하여 룩업 테이블을 생성하는 단계를 더 포함할 수 있다.
다양한 실시예에서, 기 설정된 기준에 따라 상기 소정의 공간을 복수의 영역으로 분할하는 단계, 상기 기 저장된 마커별 위치 데이터 상에서의 상기 마커의 위치에 기초하여 상기 마커를 상기 복수의 영역 중 어느 하나의 영역으로 분류하는 단계 및 상기 마커와 상기 분류된 어느 하나의 영역에 대한 정보 및 상기 분류된 어느 하나의 영역에서의 주행 규정 정보를 매칭하여 저장하는 단계를 더 포함할 수 있다.
다양한 실시예에서, 상기 주행 규정 정보는 상기 복수의 영역 각각에서의 자율주행 차량의 제한속도에 대한 정보를 포함하며, 상기 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법은, 상기 자율주행 차량이 제1 객체에 부착된 제1 마커를 인식하는 것에 응답하여 상기 제1 마커를 인식한 시점에서의 상기 자율주행 차량의 속도가 상기 제1 마커와 매칭되어 저장된 제1 제한속도를 초과하는지 여부를 판단하는 단계 및 상기 제1 마커를 인식한 시점에서의 상기 자율주행 차량의 속도가 상기 제1 제한속도를 초과하는 것으로 판단된 경우, 상기 제1 마커가 속한 영역 내에서 상기 자율주행 차량의 속도를 상기 제1 제한속도 이하로 조절할 것을 안내하는 안내 정보를 출력하는 단계를 더 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 서버는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 인스트럭션(instruction), 상기 수집된 센서 데이터를 이용하여 상기 하나 이상의 객체에 부착된 마커의 실제 위치를 측정하는 인스트럭션 및 상기 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 인스트럭션를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 단계, 상기 수집된 센서 데이터를 이용하여 상기 하나 이상의 객체에 부착된 마커의 실제 위치를 측정하는 단계 및 상기 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 소정의 공간에 포함된 복수의 마커 각각의 실제 위치를 측정하고, 이를 이용하여 복수의 마커 각각의 위치를 가리키는 마커별 위치 데이터를 갱신하여 복수의 마커 각각에 대한 정확한 위치를 설정함으로써, 위치 센서(예: GPS 센서 등)를 통해 대상의 위치 정보를 정확하게 수집하기 어려운 실내 공간(예: 지하 주차장 등)에서 휴먼 에러 등으로 인해 마커의 위치가 잘못 설정됨에 따라 자율주행 차량이 정확하게 제어되지 않거나 사고가 발생되는 것을 방지할 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 서버의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법의 순서도이다.
도 4는 다양한 실시예에서, 마커별 위치 데이터를 저장하는 방법의 순서도이다.
도 5는 다양한 실시예에서, 위치 측정 장치에 구비된 라이다(Lidar) 센서를 통해 소정의 공간을 감지함으로써 생성된 라이다 센서 데이터를 예시적으로 도시한 도면이다.
도 6은 다양한 실시예에서, 마커와 하나 이상의 리플렉터(Reflector)의 결합 형태를 예시적으로 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
여기서, 본 명세서에서는, GPS 센서와 같이 위치를 감지하는 센서의 동작이 원활하지 않은 장소(예: 지하 주차장과 같이 실내 공간)에 부착되는 마커의 실제 위치를 측정하고, 이를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 것을 기준으로 설명하고 있으나, 이는 하나의 예시일 뿐 이에 한정되지 않고 마커를 이용하여 자율주행 차량을 제어하는 다양한 환경에 적용할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 시스템은 마커 정보 저장 및 관리 서버(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 마커 정보 저장 및 관리 서버(100)는 소정의 공간에 포함된 복수의 마커 각각에 대한 위치 정보를 이용하여, 소정의 공간에 포함된 복수의 마커에 대한 마커별 위치 데이터를 생성할 수 있다.
이때, 마커 정보 저장 및 관리 서버(100)는 마커의 위치가 의도적으로 변경되거나, 휴먼 에러에 의해 마커가 정확한 위치에 부착되지 못하는 것을 보정하기 위하여, 소정의 공간에 포함된 복수의 마커 각각에 대한 실제 위치를 측정하고, 측정된 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신할 수 있다.
또한, 마커 정보 저장 및 관리 서버(100)는 마커의 위치가 의도적으로 변경되는 것을 지속적으로 감시하기 위하여, 별도의 제어신호가 없더라도 복수의 마커 각각의 위치를 실제 위치로 갱신하는 동작을 기 설정된 주기마다 반복적으로 수행할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 마커 정보 저장 및 관리 서버(100)는 기 생성된 마커별 위치 데이터 또는 마커별 위치 데이터를 기반으로 생성된 마커 맵을 이용하여 소정의 공간을 주행하는 자율주행 차량을 제어하거나, 소정의 공간 내에 자율주행 차량의 주행을 제어하는 자율주행 차량 제어 서버(미도시)로 기 생성된 마커별 위치 데이터 또는 마커별 위치 데이터를 기반으로 생성된 마커 맵을 제공할 수 있다.
다양한 실시예에서, 마커 정보 저장 및 관리 서버(100)는 복수의 마커 각각의 실제 위치를 이용하여 기 생성된 마커별 위치 데이터 및 마커별 위치 데이터를 기반으로 생성된 마커 맵을 갱신하고, 갱신된 마커별 위치 데이터 및 마커 맵을 국가의 주소 체계 (KAIS) 서버와 연동하거나 지도 애플리케이션 또는 경로 안내 애플리케이션의 지도 데이터와 연동할 수 있다.
다양한 실시예에서, 자율주행 차량(10)에 탑재된 자율주행 제어 시스템은 마커를 이용하여 자율주행 차량(10)을 제어하기 위해 마커 정보 저장 및 관리 서버(100)로부터 소정의 공간에 대한 마커별 위치 데이터 또는 마커 맵을 제공받을 수 있다. 예를 들어, 자율주행 차량(10)에 탑재된 자율주행 제어 시스템은 네트워크(400)를 통해 마커 정보 저장 및 관리 서버(100)와 연결될 수 있으며, 마커 정보 저장 및 관리 서버(100)는 소정의 공간 내에 자율주행 차량(10)이 진입하는 것에 응답하여 자동적으로 소정의 공간에 대한 마커별 위치 데이터 또는 마커 맵을 제공함으로써, 소정의 공간 내에서 자율주행 차량(10)이 보다 원활한 자율주행 제어를 할 수 있도록 보조할 수 있다.
일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 마커 정보 저장 및 관리 서버(100)와 연결될 수 있으며, 마커 정보 저장 및 관리 서버(100)로부터 제공되는 소정의 공간에 대한 마커별 위치 데이터 또는 마커 맵을 다운로드할 수 있고, 다운로드한 마커별 위치 데이터 또는 마커 맵을 이용하여 자율주행 차량(10)을 제어할 수 있다.
다양한 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 마커 정보 저장 및 관리 서버(100)와 연결될 수 있으며, 사용자 단말(200)에 별도로 구비된 카메라 모듈을 통해 소정의 공간을 촬영함으로써 생성되는 영상 데이터를 마커 정보 저장 및 관리 서버(100)로 제공할 수 있다.
일 실시예에서, 외부 서버(300)는 네트워크를 통해 마커 정보 저장 및 관리 서버(100)와 연결될 수 있으며, 마커 정보 저장 및 관리 서버(100)가 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법을 수행하기 위해 필요한 각종 정보를 저장하거나, 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법을 수행함에 따라 생성되는 각종 정보(예: 마커 번호, 마커의 위치 정보, 마커 맵 등)를 제공받아 저장할 수 있다.
예를 들어, 외부 서버(300)는 마커 정보 저장 및 관리 서버(100) 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 2를 참조하여, 마커 정보 저장 및 관리 서버(100)의 하드웨어 구성에 대해 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 서버의 하드웨어 구성도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 마커 정보 저장 및 관리 서버(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 프로세스를 수행하는 경우, 스토리지(150)는 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 단계, 수집된 센서 데이터를 이용하여 하나 이상의 객체에 부착된 마커의 실제 위치를 측정하는 단계 및 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 단계를 포함하는 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 5를 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법에 대해 설명하도록 한다.
도 3은 본 발명의 또 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법의 순서도이다.
도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집할 수 있다.
여기서, 하나 이상의 객체는 지하 주차장 내에 배치되며, 마커가 부착된 대상을 의미할 수 있다. 예를 들어, 하나 이상의 객체는 지하 주차장 내에 배치되는 하나 이상의 기둥일 수 있으나, 이에 한정되지 않는다.
또한, 마커는, 하나 이상의 객체에 부착 및 설치되어 부착 및 설치된 객체의 위치 정보를 나타내는 표식을 의미할 수 있다. 여기서, 마커에 대한 인식률을 향상시키기 위하여 마커 주변에 하나 이상의 리플렉터(reflector)(예: 도 6)가 함께 부착되는 형태로 구현될 수 있다.
이때, 하나 이상의 리플렉터는 라이다 센서가 마커를 직접적으로 인식할 수 없기 때문에, 라이다 센서를 통해 마커의 위치를 식별하기 위한 목적으로 마커와 함께 부착되는 것일 수 있다. 따라서, 하나 이상의 리플렉터는 라이다 센서를 통해 마커에 대한 실제 위치가 측정된 이후에는 제거될 수 있다. 그러나, 이에 한정되지 않고, 라이다 센서를 이용하여 지속적(또는 일정 주기 마다)으로 마커의 실제 위치를 측정하는 동작과, 이를 이용하여 기 저장된 마커의 위치 데이터 갱신하는 동작을 수행할 수 있도록 하나 이상의 리플렉터를 제거하지 않고, 마커와 함께 부착하여 사용할 수 있다.
다양한 실시예에서, 마커를 부착하는 객체가 설치된 위치에 따라 하나의 객체에 복수의 마커가 부착될 수 있다. 예를 들어, 사각 기둥형태의 객체가 소정의 공간 내에 회전 구간에 위치하는 경우, 전, 후, 좌 및 우 방향으로 자율주행 차량이 접근할 수 있다는 점을 고려하여, 전, 후, 좌 및 우 방향에 4개의 마커가 부착될 수 있고, 하나의 객체에 부착되더라도 각각의 마커가 서로 다른 마커로 인식되도록 구현될 수 있다.
또한, 여기서, 센서 데이터는 각종 센서를 이용하여 소정의 공간을 감지함으로써 생성되는 데이터를 의미할 수 있다. 예를 들어, 센서 데이터는 카메라 센서를 이용하여 소정의 공간을 촬영함으로써 생성되는 영상 데이터(예: 동영상, 이미지 등) 및 라이다 센서를 이용하여 소정의 공간을 감지함으로써 생성되는 2차원 또는 3차원 라이다 센서 데이터(예: 도 5)를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 공간 내에 위치하는 위치 측정 장치(10)의 동작을 제어하는 제어 신호를 출력하여, 위치 측정 장치(10)에 구비되는 카메라 센서 및 라이다 센서 중 적어도 하나의 센서를 동작시킬 수 있고, 카메라 센서 및 라이다 센서가 동작함에 따라 생성되는 영상 데이터 및 라이다 센서 데이터를 수집할 수 있다.
여기서, 위치 측정 장치(10)는 도 1에 도시된 바와 같이 소정의 공간을 주행하는 자율주행 차량일 수 있으나, 이에 한정되지 않고, 마커의 위치 측정을 위해 별도로 구비되는 위치 측정 로봇이나 소정의 공간 내에 포함된 마커를 보수 및 관리하는 관리자의 단말(예: 사용자 단말(200)) 등 다른 범용적인 장치들이 적용될 수 있다.
다양한 실시예에서, 위치 측정 장치(10)는 위치 측정 장치(10) 내에 구비된 카메라 센서 및 라이다 센서를 기 설정된 제1 주기마다 동작시켜 영상 데이터 및 라이다 센서 데이터를 수집할 수 있고, 수집된 영상 데이터 및 라이다 센서 데이터를 별도의 저장 서버(예: 외부 서버(300))에 저장할 수 있다. 추후, 컴퓨팅 장치(100)는 기 설정된 제2 주기마다(또는 사용자로부터 마커에 대한 위치 갱신을 요청받는 경우) 저장 서버에 저장된 영상 데이터 및 라이다 센서 데이터를 로드할 수 있다.
여기서, 제1 주기와 제2 주기는 동일하게 설정될 수 있으나, 이에 한정되지 않고, 사용자의 설정에 따라 제1 주기가 제2 주기보다 상대적으로 짧도록 설정하는 등 다양하게 설정될 수 있다.
S120 단계에서, 컴퓨팅 장치(100)는 S110 단계에서 수집된 소정의 공간에 대한 센서 데이터를 이용하여 하나 이상의 객체에 부착된 마커의 실제 위치를 측정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 공간에 대한 라이다 센서 데이터를 이용하여 마커의 실제 위치를 측정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 라이다 센서를 통해 소정의 공간을 감지함으로써 생성된 라이다 센서 데이터(예: 도 5)를 분석하여, 하나 이상의 리플렉터를 식별할 수 있고, 식별된 하나 이상의 리플렉터를 이용하여 마커(예: 도 5의 20-1, 20-2, 20-3 및 20-4)의 실제 위치를 측정할 수 있다. 여기서, 하나 이상의 리플렉터는 라이다 센서를 이용하여 마커의 실제 위치가 측정된 이후 제거될 수 있으나, 이에 한정되지 않고, 하나 이상의 마커를 제거하지 않고, 실시예에 따라 마커의 위치를 지속적으로 측정 및 갱신하기 위한 도구로써 사용하거나 하나 이상의 리플렉터 자체를 이용하여 마커의 속성을 식별하는 등 다양한 목적으로 활용될 수 있다.
여기서, 마커의 실제 위치는 마커가 부착된 기둥의 위치(주소), 기둥 상에 마커가 부착된 높이, 마커가 부착된 기둥면의 좌측 모서리 또는 우측 모서리로부터 이격된 거리를 의미할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 공간에 대한 영상 데이터를 이용하여 마커의 실제 위치를 측정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 영상 데이터를 분석하여 마커와 영상 데이터를 촬영한 위치 사이의 거리, 방향 및 각도를 산출하고, 산출된 거리, 방향 및 각도를 이용하여 마커의 실제 위치를 측정할 수 있다.
이때, 컴퓨팅 장치(100)가 영상 데이터만을 이용하여 마커의 실제 위치를 측정하는 경우, 영상 데이터에 포함된 복수의 마커 중 가까운 위치의 마커에 대하서는 비교적 정확한 실제 위치를 측정할 수 있으나, 상대적으로 먼 거리에 위치하는 마커는 정확하게 실제 위치를 측정하기 어렵다는 문제가 있다. 이러한 점을 고려하며, 컴퓨팅 장치(100)는 소정의 공간에 대한 영상 데이터와 라이다 센서 데이터를 함께 고려하여 마커의 실제 위치를 측정할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 먼저 영상 데이터를 분석하여 실제 위치를 측정하고자 하는 마커와 영상 데이터를 촬영한 위치 사이의 거리, 방향 및 각도를 산출하고, 산출된 거리, 방향 및 각도를 이용하여 실제 위치를 측정하고자 하는 마커에 대한 제1 위치를 측정할 수 있다.
이후, 컴퓨팅 장치(100)는 라이다 센서 데이터를 이용하여 소정의 공간 내에서 위치 측정 장치(10)의 이동 경로를 판단하고, 판단된 이동 경로에 따라 위치 측정 장치(10)와 실제 위치를 측정하고자 하는 마커 사이의 거리 및 각도를 산출하며, 산출된 거리 및 각도를 이용하여 제1 위치를 보정함으로써, 해당 마커에 대한 실제 위치를 측정할 수 있다.
즉, 컴퓨팅 장치(100)는 라이다 센서 데이터를 통해 산출된 거리 및 각도 값을 이용하여, 영상 데이터를 이용하여 산출된 거리, 방향 및 각도 값의 오차를 보정함으로써, 마커에 대한 보다 정확한 실제 위치를 측정할 수 있다.
S130 단계에서, 컴퓨팅 장치(100)는 S120 단계에서 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기 저장된 마커별 위치 데이터 상에서 제1 마커의 위치가 (X1, Y1)이고, 측정된 제1 마커의 실제 위치가 (X1, Y2)인 경우, 기 저장된 마커별 위치 데이터 상에서 제1 마커의 위치를 제1 마커의 실제 위치인 (X1, Y2)으로 변경하여 저장할 수 있다.
여기서, 기 저장된 마커별 위치 데이터는 소정의 공간에 대한 지도 데이터를 분석하여 마커의 위치를 판단하고, 판단된 마커의 위치에 따라 사전에 저장된 데이터를 의미할 수 있다. 이하, 도 4를 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 마커별 위치 데이터를 저장하는 방법에 대해 설명하도록 한다.
도 4는 다양한 실시예에서, 마커별 위치 데이터를 저장하는 방법의 순서도이다.
도 4를 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 소정의 공간에 대한 지도 데이터를 획득할 수 있다.
여기서, 소정의 공간에 대한 지도 데이터는 2차원 데이터로, 소정의 공간을 포함하는 특정 건물에 대한 건물대장 또는 건물 설계 도면을 의미할 수 있으나, 이에 한정되지 않는다.
S220 단계에서, 컴퓨팅 장치(100)는 지도 데이터를 분석하여 소정의 공간에 포함된 복수의 객체를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 이미지 분석 모델을 이용하여 지도 데이터로부터 복수의 객체를 추출할 수 있다.
여기서, 이미지 분석 모델은 복수의 지도 데이터를 학습 데이터로 하여 기 학습된 모델(예: 딥러닝 모델)을 의미할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 외부로부터 획득된 복수의 지도 데이터 상에서 객체에 대응되는 영역을 가리키는 하나 이상의 경계 박스(Bounding Box)로 생성하고, 생성된 하나 이상의 경계 박스 각각에 객체를 레이블링(Labeling)함으로써 학습 데이터를 생성할 수 있고, 생성된 학습 데이터를 이미지 분석 모델에 지도학습(Supervised Learning)시킬 수 있다. 그러나, 이에 한정되지 않는다.
여기서, 지도학습은 통상적으로 특정 데이터와 특정 데이터에 연관된 정보를 레이블링하여 학습 데이터를 생성하고, 이를 이용하여 학습시키는 방법으로써, 인과 관계를 가진 두 데이터를 레이블링하여 학습 데이터를 생성하고, 생성된 학습 데이터를 통해 학습하는 방법을 의미한다. 그러나, 이에 한정되지 않고, 다양한 학습 방법이 적용될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 외부로부터 수집된 소정의 공간에 대한 지도 데이터를 출력하는 사용자 인터페이스(User Interface, UI)를 사용자 단말(200)로 제공할 수 있고, 사용자 단말(200)로부터 지도 데이터에 포함된 객체를 가리키는 사용자 입력을 얻을 수 있으며, 사용자 입력에 기초하여 지도 데이터 상에 포함된 복수의 객체를 추출할 수 있다. 그러나, 이에 한정되지 않고, 지도 데이터 내에서 객체를 추출하는 어떠한 방법이든 적용될 수 있다.
S230 단계에서, 컴퓨팅 장치(100)는 S220 단계에서 추출된 복수의 객체 각각에 부착된 복수의 마커 각각에 마커 번호를 부여하고, 복수의 마커 각각에 대한 위치정보를 매칭하여 저장함으로써, 마커별 위치 데이터를 생성할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 복수의 객체에 각각에 부착된 복수의 마커를 식별하고, 식별된 복수의 마커 각각에 마커 번호를 부여할 수 있다. 이때, 컴퓨팅 장치(100)에 의해 부여되는 마커 번호는 가장 먼저 식별된 마커부터 순차적으로 부여될 수 있으나, 이에 한정되지 않고, 기 설정된 룰(예: 사용자가 설정한 순서, 소정의 공간 내에서의 마커의 위치 등)에 따라 부여되거나, 기 설정된 룰이나 순서와 상관없이 임의의 번호가 부여되는 등 다양한 방법이 적용될 수 있다.
이후, 컴퓨팅 장치(100)는 복수의 마커 각각에 부여된 마커 번호와 복수의 마커 각각의 위치 정보를 매칭하여 소정의 공간에 대한 마커별 위치 데이터를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 상기의 방법에 따라 복수의 마커 각각에 부여된 마커 번호와 복수의 마커 각각의 실제 주소(예: 건물명, 층수 등)를 연계하여 저장할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 마커 각각의 위치에 기초하여 복수의 마커 각각을 어느 하나의 영역으로 분류하고, 복수의 마커 각각에 부여된 마커 번호와 마커 각각이 분류된 영역에 대한 각종 정보를 매칭하여 저장할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 소정의 공간을 기 설정된 기준에 따라 복수의 영역(예: 안전 영역, 정밀 제어 영역, 회전 영역, 사고 다발 영역 등)으로 분할할 수 있고, 복수의 마커 각각의 위치에 기초하여, 각각의 마커를 복수의 영역 중 어느 하나의 영역으로 분류할 수 있다. 그러나, 이에 한정되지 않고 복수의 영역은 관리자에 의해 사전에 설정된 다양한 영역들(예: 백화점 입구와 상대적으로 멀리 떨어진 영역으로, 관리자에 의해 주차비를 할인 받을 수 있도록 설정된 주차비 할인 영역 등)이 적용 가능하다.
또한, 컴퓨팅 장치(100)는 경우에 따라 하나의 마커를 서로 다른 복수의 영역 각각에 속하는 것으로 분류할 수 있다. 예를 들어, 특정 마커가 안전 영역임과 동시에 관리자에 의해 사전에 설정된 주차비 할인 영역 내에 위치하는 경우, 해당 마커가 안전 영역이면서 주차비 할인 영역인 것으로 분류할 수 있다.
이후, 컴퓨팅 장치(100)는 복수의 마커 각각에 대하여, 각각의 마커에 부여된 마커 번호와 해당 마커가 분류된 영역에 대한 정보(예: 영역의 속성, 같은 영역에 포함된 마커의 마커 번호 등) 및 해당 영역에서의 주행 규정 정보를 매칭하여 저장할 수 있다.
여기서, 주행 규정 정보는 자율주행 차량이 각 영역을 주행할 때 지켜야할 규정(예: 제한속도)를 의미할 수 있다.
추후, 컴퓨팅 장치(100)에 의해 자율주행 차량을 제어할 경우, 자율주행 차량이 특정 객체에 부착된 마커를 인식하는 것에 응답하여 해당 마커를 인식한 시점에서의 자율주행 차량의 속도가 해당 마커와 매칭되어 저장된 제1 제한속도를 초과하는지 여부를 판단하고, 해당 마커를 인식한 시점에서의 자율주행 차량의 속도가 제1 제한속도를 초과하는 것으로 판단된 경우, 해당 마커가 속한 영역 내에서 자율주행 차량의 속도를 제1 제한속도 이하로 조절할 것을 안내하는 안내 정보를 출력(또는 저장된 데이터를 이용하여 자율주행 차량의 속도를 직접 제어)함으로써, 사고 없이 안전하게 자율주행 차량을 제어할 수 있도록 하는 자료로써 활용될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 마커 각각이 하나 이상의 리플렉터와 함께 객체 상에 부착된 경우, 복수의 마커와 함께 부착된 하나 이상의 리플렉터의 정보를 복수의 마커 각각에 부여된 마커 번호와 매칭하여 저장할 수 있다. 예를 들어, 제1 마커가 도 6(b)에 도시된 바와 같이 상, 하, 좌 및 우 방향에 4개의 리플렉터와 함께 부착된 경우, 제1 마커에 부여된 마커 번호와 제1 마커와 함께 부착된 리플렉터의 속성 정보(예: 4개의 리플렉터 각각의 위치, 배치 형태, 크기 등)를 매칭하여 저장할 수 있다.
추후, 컴퓨팅 장치(100)는 센서 데이터를 이용하여 마커의 실제 위치를 측정하고, 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신할 뿐만 아니라, 센서 데이터를 이용하여 하나 이상의 리플렉터의 실제 위치를 측정하고, 측정된 하나 이상의 리플렉터의 실제 위치를 이용하여, 마커 번호와 매칭되어 기 저장된 리플렉터의 위치를 갱신할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 저장된 마커별 위치 데이터를 이용하여 소정의 공간에 포함된 복수의 마커 각각의 위치를 나타내는 마커 맵을 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 마커 각각에 대한 2차원 좌표 값이 기록된 격자 형태의 2차원 마커 맵을 생성할 수 있다.
먼저, 컴퓨팅 장치(100)는 위치 측정 장치(10)에 구비된 라이다 센서를 이용하여 소정의 공간을 감지함으로써 생성된 라이다 센서 데이터를 이용하여 소정의 공간에 대한 3차원 포인트 클라우드 상에서 마커의 위치에 대응되는 2차원 좌표 값을 추출할 수 있다.
이후, 컴퓨팅 장치(100)는 소정의 공간에 대한 2차원 데이터를 기 설정된 단위 크기(예: 20cm)를 가지는 격자 형태로 분할하여 격자 형태의 2차원 마커 맵을 생성하고, 생성된 격자 형태의 2차원 마커 맵 상에 추출된 2차원 좌표 값(X, Y)을 기록할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 마커 각각의 위치 사이의 거리 및 방향에 관한 하나 이상의 벡터 정보가 기록된 마커 맵을 생성할 수 있다.
먼저, 컴퓨팅 장치(100)는 소정의 공간을 주행하는 위치 측정 장치(10)의 위치와 복수의 마커 각각의 위치 사이의 거리 및 방향에 관한 하나 이상의 벡터 정보를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 소정의 공간 내에 제1 마커와 제2 마커가 존재할 경우, 위치 측정 장치(10)가 제1 위치에 있을 때 제1 마커와의 거리 및 방향에 관한 벡터 정보(X11, Y11, θ11), 위치 측정 장치(10)가 제1 위치에 있을 때 제2 마커와의 거리 및 방향에 관한 벡터 정보(X12, Y12, θ12), 위치 측정 장치(10)가 제2 위치에 있을 때 제1 마커와의 거리 및 방향에 관한 벡터 정보(X21, Y21, θ21), 위치 측정 장치(10)가 제2 위치에 있을 때 제2 마커와의 거리 및 방향에 관한 벡터 정보(X22, Y22, θ22)를 추출할 수 있다.
여기서, 컴퓨팅 장치(100)가 위치 측정 장치(10)의 위치에 따라 마커 정보와의 거리 및 각도에 관한 벡터 정보를 추출하는 주기는 센서 데이터를 수집하는 속도에 따라 결정될 수 있다. 예를 들어, 센서 데이터가 1초에 30프레임 수집되는 경우, 약 0.03초에 1번씩 벡터 정보를 추출할 수 있다.
이후, 컴퓨팅 장치(100)는 추출된 벡터 정보가 기록된 마커 맵을 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 추출된 벡터 정보를 지도 데이터 상에 기록할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 위치 사이의 거리 및 방향에 관한 하나 이상의 벡터 정보를 기록한 룩업 테이블을 생성할 수 있다.
상기와 같이 생성된 룩업 테이블은 추후 소정의 공간 내에서 자율주행 동작을 수행하는 자율주행 차량의 위치를 판단하는 자료로 사용될 수 있다. 예를 들어, 소정의 공간 내에 진입하는 자율주행 차량은 소정의 공간 내에 진입하는 것에 응답하여, 자동적으로 소정의 공간에 대한 마커별 위치 데이터 또는 마커 맵을 제공받을 수 있고, 이를 이용하여 자율주행 제어함으로써, 자율주행 동작을 수행할 수 있다.
이후, 자율주행 차량에 구비되는 각종 센서로부터 소정의 공간에 대한 센서 데이터를 수집할 수 있고, 수집된 센서 데이터를 분석하여 마커를 인식함으로써, 자율주행 차량과 마커 간의 벡터 정보를 추출할 수 있다. 이때 추출된 벡터정보를 룩업 테이블에 기록된 복수의 벡터정보와 비교함으로써, 자율주행 차량의 위치를 판단할 수 있다.
또한, 센서 데이터로부터 복수의 마커가 인식되어 복수의 벡터정보가 추출되는 경우, 복수의 벡터정보를 이용하여 자율주행 차량의 위치를 보다 정확하게 판단할 수 있다.
즉, 자율주행 차량이 이동하는 과정에서 지속적으로 추출되는 벡터정보와 룩업 테이블에 저장된 복수의 벡터정보를 비교함으로써, 자율주행 차량의 정확한 위치를 쉽고 빠르게 판단할 수 있다는 이점이 있다.
여기서, 센서 데이터로부터 추출된 복수의 벡터정보 각각에 기초하여 판단된 자율주행 차량의 위치가 서로 상이한 경우(예: 제1 마커와 자율주행 차량 간의 제1 벡터정보에 따라 판단된 자율주행 차량의 위치가 제1 위치이나, 제2 마커와 자율주행 차량 간의 제2 벡터정보에 따라 판단된 자율주행 차량의 위치가 제2 위치인 경우), 제1 마커와 제2 마커에 이상이 있는 것으로 판단할 수 있다.
이때, 센서 데이터로부터 추출된 복수의 벡터정보 각각에 기초하여 판단된 자율주행 차량의 위치가 서로 상이한 경우, 동일한 위치에서 생성된 센서 데이터를 이용하여 복수의 벡터정보를 재추출하고, 재추출된 벡터정보를 이용하여 자율주행 차량에 대한 위치를 재판단하며, 재판단한 결과가 서로 상이한 경우, 제1 마커와 제2 마커에 이상이 있는 것으로 판단할 수 있다. 여기서, 동일한 위치에서 벡터정보를 추출하는 동작의 횟수는 사전에 설정된 값에 따라 결정될 수 있다.
즉, 소정의 공간에 대한 마커별 위치 데이터 및 마커 맵을 생성한 이후, 이를 소정의 공간 내를 실제로 주행하는 자율주행 차량(또는 생성된 마커별 위치 데이터 및 마커 맵을 검증하기 위해 테스트 주행하는 자율주행 차량)에 제공함으로써, 자율주행 차량이 정확한 자율주행 동작을 수행할 수 있도록 함과 동시에, 자율주행 차량이 수행하는 자율주행 동작에 대한 정보를 역으로 이용하여 마커별 위치 데이터 및 마커 맵을 검증하는 오류 검출 동작을 수행할 수 있다.
다시, 도 3을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계에서 측정된 제1 마커의 실제 위치와 마커별 위치 데이터 상에서의 제1 마커의 위치를 비교하여 기 저장된 제1 마커의 위치와 제1 마커의 실제 위치 사이의 오차를 산출할 수 있고, 산출된 오차가 기 설정된 제1 크기 이상인 경우에만 기 저장된 마커별 위치 데이터 상에서 제1 마커의 위치를 측정된 실제 위치로 갱신할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기 저장된 제1 마커의 위치와 제1 마커의 실제 위치 사이의 오차가 제1 크기 미만인 경우, 기 저장된 마커별 위치 데이터 상에서 제1 마커의 위치를 측정된 실제 위치로 갱신하지 않고, 제1 크기 이상인 경우에만 기 저장된 마커별 위치 데이터 상에서 제1 마커의 위치를 측정된 실제 위치로 갱신할 수 있다.
즉, 마커의 실제 위치를 측정하는 과정에서 발생할 수 있는 미세한 오차(예: 측정 환경이나 측정 방식, 센서 데이터의 품질 등에 따라 발생될 수 있는 오차)를 가지는 경우, 기 저장된 마커별 위치 데이터를 갱신하지 않고, 유의미한 크기의 오차를 가지는 경우에만 기 저장된 마커별 위치 데이터를 갱신할 수 있다.
여기서, 기 저장된 마커별 위치 데이터를 갱신할 것인지 또는 갱신하지 않을 것인지를 판단하기 위한 오차의 크기는 동일한 센서 데이터를 이용하여 마커의 실제 위치를 반복적으로 측정함으로써 얻어지는 마커의 실제 위치 값 범위에 따라 결정될 수 있으나, 이에 한정되지 않는다.
한편, 컴퓨팅 장치(100)는 기 저장된 제1 마커의 위치와 제1 마커의 실제 위치 사이의 오차가 제1 크기보다 큰 제2 크기를 초과하는 경우, 제1 마커를 점검할 것을 안내하는 안내 메시지를 출력할 수 있다. 예를 들어, 기 저장된 제1 마커의 위치가 실제 측정된 제1 마커의 실제 위치 사이의 오차가 cm 단위(예: 30cm 미만)로 미세한 경우, 휴먼 에러일 가능성이 높아 저장된 데이터를 갱신함으로써, 보다 정확한 자율주행 차량의 제어가 가능하도록 할 수 있으나, 기 저장된 제1 마커의 위치가 실제 측정된 제1 마커의 실제 위치 사이의 오차가 m 단위(예: 10m 이상)로 큰 경우 휴먼 에러보다는 의도적으로 위치를 변경시킨 것일 가능성이 높다.
따라서, 컴퓨팅 장치(100)는 이와 같이 마커를 악용하기 위하여 의도적으로 마커의 위치를 변경시키는 것을 감지하고, 이와 같은 상황이 감지되는 경우 이를 점검 및 보수할 것을 안내함으로써, 마커의 위치를 의도적으로 변경하여 악용하는 것을 방지할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계에서 측정된 제1 마커의 실제 위치와 마커별 위치 데이터 상에서의 제1 마커의 위치를 비교하여, 제1 마커의 실제 위치와 마커별 위치 데이터 상의 제1 마커의 위치가 격자 형태의 2차원 마커 맵 내의 동일 격자 내에 포함되는 경우 즉, 제1 마커의 실제 위치와 마커별 위치 데이터 상의 제1 마커의 위치 사이의 오차가 격자를 형성하는 기 설정된 단위 크기(예: 20cm) 이하인 경우, 기 저장된 마커별 위치 데이터 상에서 제1 마커의 위치를 측정된 실제 위치로 갱신하지 않을 수 있다.
이때, 컴퓨팅 장치(100)는 제1 마커의 실제 위치와 마커별 위치 데이터 상의 제1 마커의 위치 사이의 오차가 격자를 형성하는 기 설정된 단위 크기(예: 20cm) 이하이더라도, 격자 형태의 2차원 마커 맵 내에서 서로 다른 격자 내에 포함되는 경우, 마커별 위치 데이터 상에서의 제1 마커의 위치를 측정된 제1 마커의 위치로 갱신(이에 따라 격자 형태의 2차원 마커 맵 내에서 제1 마커의 위치로 자동적으로 갱신)할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계에서 측정된 제1 마커의 실제 위치와 마커별 위치 데이터 상에서의 제1 마커의 위치를 비교하여 기 저장된 제1 마커의 위치와 제1 마커의 실제 위치 사이의 오차가 기 설정된 크기 이하이거나 기 저장된 제1 마커의 위치와 제1 마커의 실제 위치가 동일하더라도, 제1 마커에 대한 실제 위치가 측정되는 것에 응답하여 기 저장된 마커별 위치 데이터 상에서 제1 마커의 위치를 측정된 실제 위치로 갱신할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 공간 내에 포함된 복수의 마커 각각에 대한 실제 위치를 측정하고, 측정된 실제 위치를 기반으로 기 저장된 마커별 위치 데이터에 기록된 복수의 마커 각각의 위치를 갱신하되, 복수의 마커 중 기 설정된 기간 내에 기준 횟수 이상 위치가 변경된 적어도 하나의 마커를 선택하고, 선택한 마커에 대한 위치가 변경되지 않도록 점검할 것을 안내하는 안내 정보를 출력할 수 있다.
전술한 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다. 이하, 도 6을 참조하여, 소정의 공간에 배치되는 마커와 하나 이상의 리플렉터의 형태에 대해 설명하도록 한다.
도 6은 다양한 실시예에서, 마커와 하나 이상의 리플렉터(Reflector)의 결합 형태를 예시적으로 도시한 도면이다.
도 6을 참조하면, 마커(21)는 컴퓨팅 장치(100)에 대한 마커 인식률을 향상시키기 위하여 마커 주변에 하나 이상의 리플렉터(22)가 함께 부착될 수 있다.
여기서, 하나 이상의 리플렉터(22)는 상기된 바와 같이 라이다 센서가 마커를 직접적으로 인식할 수 없기 때문에, 라이다 센서를 통해 마커의 위치를 식별하기 위한 목적으로 마커와 함께 부착되는 것일 수 있다는 점을 고려하여, 마커(21)의 실제 위치가 측정된 이후에는 제거될 수 있다.
다만, 실시예에 따라 소정의 공간에 포함된 마커(21) 각각의 실제 위치를 지속적으로 갱신할 수 있다는 점을 고려하여, 하나 이상의 리플렉터(22)를 제거하지 않고, 마커(21)와 함께 소정의 공간에 배치하여 사용할 수 있다.
하나 이상의 리플렉터(22)는 도 6(a)와 같이 마커(21)의 각 꼭지점 방향에 소정의 크기를 가지도록 배치될 수 있고, 도 6(b)와 같이 마커(21)의 각 모서리 중앙부에 소정의 크기를 가지도록 배치될 수 있다.
또한, 하나 이상의 리플렉터(22)는 도 6(c)와 같이 마커(21)의 각 모서리 중 하나 이상의 모서리와 평행한 막대 형태로 배치될 수 있고, 도 6(d)와 같이 마커(21)의 전체 모서리를 덮는 형태로 배치될 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 마커(21)는 마커(21)의 위치에 따라 복수의 영역 중 어느 하나의 영역으로 분류될 수 있고, 하나 이상의 리플렉터(22)는 마커(21)가 속한 영역의 속성에 따라 배치되는 형태가 결정될 수 있다. 예를 들어, 마커(21)가 회전 영역에 속한 경우, 하나 이상의 리플렉터(22)는 도 6(a)에 도시된 바와 같이 배치될 수 있고, 마커(21)가 회전 영역에 속해있지 않은 경우 도 6(d)에 도시된 바와 같이 배치될 수 있다.
또한, 하나 이상의 리플렉터(22)는 마커(21) 주변에 다른 마커(21)가 위치하는지 여부에 따라 배치되는 형태가 결정될 수 있다. 예를 들어, 마커(21)의 좌우측 방향에 2개의 다른 마커(21)가 위치하는 경우, 도 6(c)에 도시된 바와 같이 배치될 수 있고, 마커(21)의 전, 후, 좌 및 우측 방향에 4개의 다른 마커(21)가 위치하는 경우, 도 6(d)에 도시된 바와 같이 배치될 수 있다.
또한, 하나 이상의 리플렉터(22)의 개수 및 크기는 마커(21)에 부여되는 마커 번호에 따라 결정될 수 있다. 예를 들어, 1번이 부여된 마커(21)에는 가장 작은 제1 크기를 가지는 하나의 리플렉터(22)가 배치될 수 있다. 또한, 2번이 부여된 마커(21)에는 제1 크기보다 큰 제2 크기를 가지는 두개의 리플렉터(22)가 배치될 수 있다.
상기와 같이, 하나 이상의 리플렉터(22)는 마커(21) 주변에 함께 배치됨으로써, 마커(21)의 인식률을 향상시킬 수 있을 뿐만 아니라, 마커(21)의 속성(예: 마커(21)에 부여된 마커 번호, 마커(21)가 속한 영역 등)에 따라 리플렉터(22)의 배치 형태, 크기 및 개수를 결정함으로서, 리플렉터(22)만으로 마커(21)의 속성을 파악할 수 있도록 한다는 이점이 있다.
즉, 마커(21)를 인식함에 있어서, 마커(21) 자체를 식별한 결과와 마커(21)와 함께 배치된 리플렉터(22)를 식별한 결과를 상호 비교하여 마커(21)를 인식함으로써, 마커(21)의 종류, 마커(21)의 실제 위치에 대한 보다 정확한 결과를 추출할 수 있다는 이점이 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 마커 정보 저장 및 관리 서버
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크

Claims (10)

  1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 단계;
    상기 수집된 센서 데이터를 이용하여 상기 하나 이상의 객체에 부착된 마커의 실제 위치 - 상기 마커의 실제 위치는, 상기 마커가 부착된 객체의 위치, 상기 객체에 대한 상기 마커의 상대적 위치를 포함함 - 를 측정하는 단계; 및
    상기 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 단계를 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  2. 제1항에 있어서,
    상기 소정의 공간에 대한 지도 데이터를 획득하는 단계;
    상기 획득된 지도 데이터를 분석하여 상기 소정의 공간에 포함된 복수의 객체를 추출하는 단계;
    상기 추출된 복수의 객체에 각각에 부착된 복수의 마커를 식별하고, 상기 식별된 복수의 마커 각각에 마커 번호를 부여하는 단계; 및
    상기 복수의 마커 각각에 부여된 마커 번호와 상기 복수의 마커 각각의 위치 정보를 매칭하여 상기 소정의 공간에 대한 마커별 위치 데이터를 생성하는 단계를 더 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  3. 제1항에 있어서,
    상기 하나 이상의 객체에 부착된 마커는 하나 이상의 리플렉터(Reflector)를 포함하고,
    상기 센서 데이터는 위치 측정 장치에 구비된 라이다(Lidar) 센서를 통해 상기 소정의 공간을 감지함으로써 생성된 라이다 센서 데이터를 포함하며,
    상기 마커의 실제 위치를 측정하는 단계는,
    상기 라이다 센서 데이터를 분석하여 상기 하나 이상의 리플렉터를 식별하고, 상기 식별된 하나 이상의 리플렉터를 이용하여 상기 마커의 실제 위치를 측정하는 단계를 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  4. 제1항에 있어서,
    상기 센서 데이터는 위치 측정 장치에 구비된 카메라 센서를 통해 상기 마커를 촬영함으로써 생성된 영상 데이터와 상기 위치 측정 장치에 구비된 라이다(Lidar) 센서를 통해 상기 소정의 공간을 감지함으로써 생성된 라이다 센서 데이터를 포함하며,
    상기 마커의 실제 위치를 측정하는 단계는,
    상기 영상 데이터를 분석하여 상기 마커의 제1 위치를 측정하는 단계; 및
    상기 라이다 센서 데이터를 이용하여 상기 위치 측정 장치의 이동 경로를 판단하고, 상기 판단된 위치 측정 장치의 이동 경로를 이용하여 상기 위치 측정 장치와 상기 마커 사이의 거리 및 각도를 산출하며, 상기 산출된 거리 및 각도를 이용하여 상기 측정된 제1 위치를 보정하는 단계를 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  5. 제1항에 있어서,
    상기 기 저장된 마커별 위치 데이터를 이용하여 상기 소정의 공간에 포함된 복수의 마커 각각의 위치를 나타내는 마커 맵을 생성하는 단계를 더 포함하며,
    상기 마커 맵을 생성하는 단계는,
    위치 측정 장치에 구비된 라이다(Lidar) 센서를 이용하여 상기 소정의 공간을 감지함으로써 생성된 센서 데이터를 이용하여 상기 소정의 공간에 대한 3차원 포인트 클라우드 상에서 상기 마커의 위치에 대응되는 2차원 좌표 값을 추출하는 단계; 및
    상기 소정의 공간에 대한 2차원 데이터를 기 설정된 단위 크기를 가지는 격자 형태로 분할하여 격자 형태의 2차원 마커 맵을 생성하고, 상기 생성된 격자 형태의 2차원 마커 맵 상에 상기 추출된 2차원 좌표 값을 기록하는 단계를 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  6. 제1항에 있어서,
    상기 소정의 공간을 주행하는 위치 측정 장치의 위치와 상기 복수의 마커 각각의 위치 사이의 거리 및 방향에 관한 하나 이상의 벡터 정보를 기록하여 룩업 테이블을 생성하는 단계를 더 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  7. 제1항에 있어서,
    기 설정된 기준에 따라 상기 소정의 공간을 복수의 영역으로 분할하는 단계;
    상기 기 저장된 마커별 위치 데이터 상에서의 상기 마커의 위치에 기초하여 상기 마커를 상기 복수의 영역 중 어느 하나의 영역으로 분류하는 단계; 및
    상기 마커와 상기 분류된 어느 하나의 영역에 대한 정보 및 상기 분류된 어느 하나의 영역에서의 주행 규정 정보를 매칭하여 저장하는 단계를 더 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  8. 제7항에 있어서,
    상기 주행 규정 정보는 상기 복수의 영역 각각에서의 자율주행 차량의 제한속도에 대한 정보를 포함하며,
    상기 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법은,
    상기 자율주행 차량이 제1 객체에 부착된 제1 마커를 인식하는 것에 응답하여 상기 제1 마커를 인식한 시점에서의 상기 자율주행 차량의 속도가 상기 제1 마커와 매칭되어 저장된 제1 제한속도를 초과하는지 여부를 판단하는 단계; 및
    상기 제1 마커를 인식한 시점에서의 상기 자율주행 차량의 속도가 상기 제1 제한속도를 초과하는 것으로 판단된 경우, 상기 제1 마커가 속한 영역 내에서 상기 자율주행 차량의 속도를 상기 제1 제한속도 이하로 조절할 것을 안내하는 안내 정보를 출력하는 단계를 더 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법.
  9. 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 컴퓨터 프로그램은,
    하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 인스트럭션(instruction);
    상기 수집된 센서 데이터를 이용하여 상기 하나 이상의 객체에 부착된 마커의 실제 위치 - 상기 마커의 실제 위치는, 상기 마커가 부착된 객체의 위치, 상기 객체에 대한 상기 마커의 상대적 위치를 포함함 - 를 측정하는 인스트럭션; 및
    상기 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 인스트럭션를 포함하는,
    자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 서버.
  10. 컴퓨팅 장치와 결합되어,
    하나 이상의 객체를 포함하는 소정의 공간에 대한 센서 데이터를 수집하는 단계;
    상기 수집된 센서 데이터를 이용하여 상기 하나 이상의 객체에 부착된 마커의 실제 위치 - 상기 마커의 실제 위치는, 상기 마커가 부착된 객체의 위치, 상기 객체에 대한 상기 마커의 상대적 위치를 포함함 - 를 측정하는 단계; 및
    상기 측정된 마커의 실제 위치를 이용하여 기 저장된 마커별 위치 데이터를 갱신하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램.
KR1020200153134A 2020-11-16 2020-11-16 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램 KR102311718B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200153134A KR102311718B1 (ko) 2020-11-16 2020-11-16 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200153134A KR102311718B1 (ko) 2020-11-16 2020-11-16 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램

Publications (1)

Publication Number Publication Date
KR102311718B1 true KR102311718B1 (ko) 2021-10-13

Family

ID=78114987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200153134A KR102311718B1 (ko) 2020-11-16 2020-11-16 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램

Country Status (1)

Country Link
KR (1) KR102311718B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070042599A (ko) * 2005-10-19 2007-04-24 주식회사 엘지텔레콤 바코드를 이용하여 위치 측정을 보완한 내비게이션 시스템및 방법
KR20080032601A (ko) * 2006-10-09 2008-04-15 하만 베커 오토모티브 시스템즈 게엠베하 디지털 지도에서 정적 요소의 삽입
US20090228204A1 (en) * 2008-02-04 2009-09-10 Tela Atlas North America, Inc. System and method for map matching with sensor detected objects
JP2016218732A (ja) * 2015-05-20 2016-12-22 修一 田山 自動車周辺情報表示システム
KR20190131402A (ko) * 2018-05-16 2019-11-26 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070042599A (ko) * 2005-10-19 2007-04-24 주식회사 엘지텔레콤 바코드를 이용하여 위치 측정을 보완한 내비게이션 시스템및 방법
KR20080032601A (ko) * 2006-10-09 2008-04-15 하만 베커 오토모티브 시스템즈 게엠베하 디지털 지도에서 정적 요소의 삽입
US20090228204A1 (en) * 2008-02-04 2009-09-10 Tela Atlas North America, Inc. System and method for map matching with sensor detected objects
JP2016218732A (ja) * 2015-05-20 2016-12-22 修一 田山 自動車周辺情報表示システム
KR20190131402A (ko) * 2018-05-16 2019-11-26 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Similar Documents

Publication Publication Date Title
US11017244B2 (en) Obstacle type recognizing method and apparatus, device and storage medium
EP4044146A1 (en) Method and apparatus for detecting parking space and direction and angle thereof, device and medium
JP6854840B2 (ja) 地図構築装置及びその地図構築方法
CN106845412B (zh) 障碍物识别方法及装置、计算机设备及可读介质
KR20200100810A (ko) 자율 주행을 위한 자차 위치 예측 방법 및 자율 주행 장치
US10156847B2 (en) Autonomous moving device
CN109141347A (zh) 车载摄像机测距方法及装置、存储介质和电子设备
KR102363501B1 (ko) 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
US11820001B2 (en) Autonomous working system, method and computer readable recording medium
KR102325367B1 (ko) 자율 주행 데이터의 데이터 레이블링 방법, 장치 및 컴퓨터프로그램
JP7183085B2 (ja) 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置
CN110389582A (zh) 利用多个线索跟踪对象
KR20120070250A (ko) 주차 보조 장치 및 그의 주차 제어 방법
CN111862216B (zh) 计算机设备定位方法、装置、计算机设备和存储介质
JP2017526083A (ja) 位置特定およびマッピングの装置ならびに方法
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
KR102311718B1 (ko) 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램
CN113536867B (zh) 物体识别的方法、装置及系统
US20200257372A1 (en) Out-of-vocabulary gesture recognition filter
KR20140034996A (ko) 이동로봇 및 상기 이동로봇에 대한 경로학습방법
KR20210147855A (ko) 시각 특징 맵 생성 방법 및 시스템
CN112507857B (zh) 一种车道线更新方法、装置、设备及存储介质
US20230184550A1 (en) Mobile reality capture device using motion state detection for providing feedback on generation of 3d measurement data
KR102275671B1 (ko) 객체 형태 검출 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant