KR102256541B1 - 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템 - Google Patents

라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템 Download PDF

Info

Publication number
KR102256541B1
KR102256541B1 KR1020200164521A KR20200164521A KR102256541B1 KR 102256541 B1 KR102256541 B1 KR 102256541B1 KR 1020200164521 A KR1020200164521 A KR 1020200164521A KR 20200164521 A KR20200164521 A KR 20200164521A KR 102256541 B1 KR102256541 B1 KR 102256541B1
Authority
KR
South Korea
Prior art keywords
information
map
control server
autonomous driving
smart
Prior art date
Application number
KR1020200164521A
Other languages
English (en)
Inventor
이대식
손지우
권순우
유승우
Original Assignee
에스케이증권 주식회사
김도년
재단법인 여시재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이증권 주식회사, 김도년, 재단법인 여시재 filed Critical 에스케이증권 주식회사
Priority to KR1020200164521A priority Critical patent/KR102256541B1/ko
Priority to KR1020210063344A priority patent/KR102414873B1/ko
Application granted granted Critical
Publication of KR102256541B1 publication Critical patent/KR102256541B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps

Abstract

실시예들은 자율주행 시스템에서 자율주행 정보를 제공하는 방법을 제공할 수 있다. 이때, 자율주행 정보를 제공하는 방법은 제어서버가 라이다 센서를 포함하고 고정된 지리적 위치에 설치된 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하는 단계, 제어서버가 고정밀 지도 관련 정보를 통해 HD map을 제작하는 단계 및 제어서버가 복수 개의 자율주행 차량으로 제작된 HD map을 전달하는 단계를 포함할 수 있다.

Description

라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템{THE AUTONOMOUS DRIVING SYSTEM USING SMART POLE HAVING LIDAR SENSOR}
실시예들은 라이다 센서(Lidar sensor)를 포함하는 스마트폴을 이용한 자율주행 시스템에 대한 것이다. 보다 상세하게는, 스마트폴을 이용하여 자율주행을 위한 맵을 제작하고, 이에 기초하여 서비스를 제공하는 시스템에 대한 것이다.
최근 자율주행 차량이 증가하고 있으며, 자율주행에 대한 연구가 활발하게 이루어지고 있다. 자율주행은 운전자 보조가 필요한 자율주행부터 완전 자율주행까지 각각의 단계로 구분될 수 있으며, 완전 자율주행을 목표로 지속적인 연구가 수행되고 있다.
구체적으로, 자율주행은 차량에 부착된 센서, 차량 간 통신 및 클라우드 시스템에 기초하여 주행에 필요한 정보를 획득하고, 이에 기초하여 자동으로 주행하는 시스템일 수 있다. 다만, 차량에 부착된 센서 및 차량 간 통신으로 주행 중에 필요한 정보를 획득하는데 한계가 있으며, 이를 위해 차량 주변 장치들을 활용하는 방법이 필요할 수 있다. 상술한 점을 고려하여 하기에서는 라이다 센서를 포함하는 스마트 폴을 이용한 자율주행 시스템에 대해 서술한다.
한국특허출원공개 제10-2020-0127218호
본 명세서는 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템을 제공할 수 있다.
본 명세서는 라이다 센서를 가지는 스마트폴로부터 주행 관련 정보를 수신하고, 자율주행을 제어하는 제어 서버를 제공할 수 있다.
본 명세서는 자율주행을 제어하는 제어 서버에 기초하여 자율주행을 수행하는 차량을 제공할 수 있다.
본 명세서는 스마트폴을 이용하여 주행 관련 정보를 획득하는 방법을 제공할 수 있다.
본 명세서의 해결하고자 하는 과제는 상술한 바에 한정되지 아니하고, 하기에서 설명하는 발명의 실시예들에 의해 도출될 수 있는 다양한 사항들로 확장될 수 있다.
본 명세서의 일 실시예에 따라, 자율주행 정보를 제공하는 자율주행 시스템을 제공할 수 있다. 이때, 자율주행 시스템은 라이다 센서를 포함하고, 고정된 지리적 위치에 설치된 복수 개의 스마트폴 및 상기 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하고, 상기 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하여 복수 개의 자율주행 차량으로 상기 HD map을 제공하는 제어서버를 포함할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 자율주행 시스템에서 자율주행 정보를 제공하는 방법에 있어서, 제어서버가 라이다 센서를 포함하고 고정된 지리적 위치에 설치된 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하는 단계, 상기 제어서버가 상기 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하는 단계 및 상기 제어서버가 복수 개의 자율주행 차량으로 상기 제작된 HD map을 전달하는 단계를 포함할 수 있다.
이때, 본 명세서의 일 실시예에 따라, 상기 복수 개의 스마트폴은 상기 라이더 센서 및 적어도 어느 하나 이상의 센서를 포함하고, 상기 복수 개의 스마트폴 중 제 1 스마트폴은 상기 라이더 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 1 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되, 상기 제 1 영역은 라이더 센서 및 상기 적어도 어느 하나 이상의 센서의 센싱 각도 및 빔스티어링에 기초하여 상이하게 설정될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 제 1 영역은 상기 제 1 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 스마트폴 중 제 2 스마트폴은 상기 라이더 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 2 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되, 상기 제 2영역은 상기 제 2 스마트폴의 위치 정보, 상기 교통상황 정보, 상기 도로 상태 정보, 상기 오브젝트 인지/판단 정보, 상기 HD Map 정보 및 상기 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정되고, 상기 제어서버는 상기 제 1 스마트폴로부터 획득한 고정밀 지도 관련 정보 및 상기 제 2 스마트폴로부터 획득한 고정밀 지도 관련 정보에 기초하여 상기 HD map을 제작할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 적어도 어느 하나의 센서는 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서 및 습도센서 중 적어도 어느 하나 이상을 포함하고, 상기 적어도 어느 하나의 센서에 기초하여 상기 제 1 영역 내의 오브젝트들의 이미지 정보, 오브젝트의 윤곽 정보, 온도 정보, 열화상 정보 및 밝기 정보 중 적어도 하나 이상을 센싱하고, 센싱된 정보에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 제 1 영역 내의 오브젝트들은 고정 오브젝트 및 이동 오브젝트로 구별되고, 상기 제 1 스마트폴이 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하는 경우, 고정 오브젝브 정보 및 이동 오브젝트 정보는 구별하여 전송될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 이동 오브젝트에 대한 정보는 오브젝트의 종류 정보, 오브젝트의 이동방향 정보, 오브젝트의 기존속도 정보 및 오브젝트 자세 정보 중 적어도 어느 하나 이상을 포함할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 이동 오브젝트 정보는 실시간으로 업데이트되되, 상기 이동 오브젝트 정보는 상기 고정 오브젝트 정보와 비교하여 업데이트될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 스마트폴은 가로등 형태, 지하 출입구 형태, 차량 펜스 형태, 건물 형태 및 버스 정거장 형태 중 적어도 어느 하나에 기초하여 설정될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 제어서버는 상기 복수 개의 스마트폴로부터 복수 개의 상기 고정밀 지도 관련 정보를 획득하고, 상기 획득한 고정밀 지도 관련 정보를 이용하여 빅데이터를 구축하고, 상기 구축된 빅데이터에 대한 기계학습을 통해 상기 HD map을 업데이트할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 제어서버는 상기 수행된 기계학습에 기초하여 교통신호체계 정보를 변경할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 제어서버가 상기 HD map을 상기 복수 개의 자율주행 차량에 제공하는 경우, 상기 제어서버는 상기 HD map 제공 여부를 상기 복수 개의 자율주행 차량으로 문의하고, 상기 HD map 제공 여부를 동의한 자율주행 차량으로 상기 HD map를 제공할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 스마트폴은 자율주행 관련 정보를 더 센싱하고, 상기 센싱된 자율주행 관련 정보를 상기 제어서버로 전송하고, 상기 제어서버는 상기 전송된 자율주행 관련 정보에 처리하여 자율주행 정보를 생성하여 상기 복수 개의 자율주행 차량으로 제공할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 자율주행 정보는 상기 HD map에 기초하여 제공될 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 자율주행 차량은 상기 자율주행 시스템과 인증을 수행하고, 상기 제어서버는 상기 자율주행 시스템에 기초하여 상기 복수개 의 자율주행 차량 중 인증된 자율주행 차량으로만 상기 HD map을 전송할 수 있다.
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 자율주행 차량 중 제 1 자율주행 차량이 상기 자율주행 시스템과 인증을 수행하는 경우, 상기 제 1 자율주행 차량이 턴-온되면 상기 자율주행 시스템으로 상기 제 1자율주행 차량의 식별 정보를 포함하는 인증 요청 메시지를 전송하고, 상기 자율주행 시스템은 상기 인증 요청 메시지의 상기 제1 자율주행 차량의 식별 정보에 기초하여 인증을 수행하고, 상기 인증이 완료되면 상기 HD map을 포함하는 인증 완료 메시지를 상기 제 1 자율주행 차량으로 전송할 수 있다.
본 명세서는 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템을 제공할 수 있다.
본 명세서는 라이다 센서를 가지는 스마트폴로부터 주행 관련 정보를 수신하고, 자율주행을 제어하는 제어 서버를 제공할 수 있다.
본 명세서는 자율주행을 제어하는 제어 서버에 기초하여 자율주행을 수행하는 차량을 제공할 수 있다.
본 명세서는 스마트폴을 이용하여 주행 관련 정보를 획득하는 방법을 제공할 수 있다.
본 명세서의 효과는 위 기재된 사항에 한정되지 아니하며, 아래 발명의 실시예들에 대한 상세한 설명으로부터 도출될 수 있는 다양한 내용들로 확장될 수 있음이 이해되어야 한다.
도 1은 본 명세서의 일실시예에 따른 시스템의 동작 환경의 예를 도시한 도면이다.
도 2는 본 명세서의 일실시예에 있어서 컴퓨팅 장치(200)의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 명세서의 일실시예에 있어서 주행 관련 정보를 처리하는 방법을 나타낸 도면이다.
도 4a는 본 명세서의 일실시예에 있어서 스마트폴을 나타낸 도면이다.
도 4b는 본 명세서의 일실시예에 있어서 스마트폴을 나타낸 도면이다.
도 4c는 본 명세서의 일실시예에 있어서 스마트폴을 나타낸 도면이다.
도 5a는 본 명세서의 일실시예에 있어서 스마트폴의 센싱 방법을 나타낸 도면이다.
도 5b는 본 명세서의 일실시예에 있어서 스마트폴의 센싱 방법을 나타낸 도면이다.
도 6은 본 명세서의 일실시예에 있어서 자율주행 단계를 나타낸 도면이다.
도 7은 본 명세서의 일실시예에 있어서 자율주행 시스템을 나타낸 도면이다.
도 8은 본 명세서의 일실시예에 있어서 자율주행 시스템을 나타낸 도면이다.
도 9는 본 명세서의 일실시예에 있어서 자율주행 시스템을 나타낸 도면이다.
도 10은 본 명세서의 일실시예에 있어서 자율주행 차량 동작 방법을 나타낸 도면이다.
도 11은 본 명세서의 일실시예에 있어서 데이터 처리 방법을 나타낸 도면이다.
도 12는 본 명세서의 일실시예에 있어서 데이터 처리 방법을 나타낸 도면이다.
도 13은 본 명세서의 일실시예에 있어서 데이터 처리 방법을 나타낸 도면이다.
도 14a는 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 자율 주행을 제어하는 방법을 나타낸 도면이다.
도 14b는 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 자율 주행을 제어하는 방법을 나타낸 도면이다.
도 15는 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 주행 관련 정보를 획득하는 장치들을 나타낸 도면이다.
도 16은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 차량을 제어하는 방법을 나타낸 도면이다.
도 17은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 주행 관련 정보를 획득하는 장치들을 나타낸 도면이다.
도 18은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 제어 서버의 동작을 나타낸 순서도이다.
본 명세서의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 명세서의 실시예에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서의 실시예에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 명세서의 실시예의 범위 내에서 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 명세서의 실시예에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 명세서의 실시예의 범위에 포함된다.
본 명세서에서 네트워크는 유무선 네트워크를 모두 포함하는 개념일 수 있다. 이때, 네트워크는 디바이스와 시스템 및 디바이스 상호 간의 데이터 교환이 수행될 수 있는 통신망을 의미할 수 있으며, 특정 네트워크로 한정되는 것은 아니다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
또한, 본 명세서에서 디바이스는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 HMD(Head Mounted Display)와 같이 모바일 디바이스뿐만 아니라, PC나 디스플레이 기능을 구비한 가전처럼 고정된 디바이스일 수 있다. 또한, 일 예로, 디바이스는 차량 내 장치, 또는 IoT (Internet of Things) 디바이스일 수 있다. 즉, 본 명세서에서 디바이스는 어플리케이션 동작이 가능한 기기들을 지칭할 수 있으며, 특정 타입으로 한정되지 않는다. 하기에서는 설명의 편의를 위해 어플리케이션이 동작하는 기기를 디바이스로 지칭한다.
본 명세서에 있어서 네트워크의 통신 방식은 제한되지 않으며, 각 구성요소간 연결이 동일한 네트워크 방식으로 연결되지 않을 수도 있다. 네트워크는, 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 유선 및/또는 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.
다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 명세서의 실시예의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 명세서의 실시예의 범위에 포함된다.
이하에서, 도면을 참조하여 본 명세서의 실시예들에 대하여 상세히 살펴본다.
도 1은 본 명세서의 일실시예에 따른 시스템의 동작 환경의 예를 도시한 도면이다. 도 1을 참조하면 사용자 디바이스(110), 하나 이상의 서버(120, 130, 140)가 네트워크(1)를 통해 연결되어 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 디바이스의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
사용자 디바이스(110)는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 디바이스(110)는 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 일례로 실시예들에서 사용자 디바이스(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(1)를 통해 다른 서버들(120 - 140)과 통신할 수 있는 다양한 물리적인 컴퓨터 시스템들 중 하나를 의미할 수 있다.
각 서버는 사용자 디바이스(110)와 네트워크(1)를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버는 네트워크(1)를 통해 접속한 사용자 디바이스(110)로 각각의 서비스를 제공하는 시스템일 수 있다. 보다 구체적인 예로, 서버는 사용자 디바이스(110)에 설치되어 구동되는 컴퓨터 프로그램으로서의 어플리케이션을 통해, 해당 어플리케이션이 목적하는 서비스(일례로, 정보 제공 등)를 사용자 디바이스(110)로 제공할 수 있다. 다른 예로, 서버는 상술한 어플리케이션의 설치 및 구동을 위한 파일을 사용자 디바이스(110)로 배포하고 사용자 입력 정보를 수신해 대응하는 서비스를 제공할 수 있다.
도 2는 본 명세서의 일실시예에 있어서 컴퓨팅 장치(200)의 내부 구성을 설명하기 위한 블록도이다. 이러한 컴퓨팅 장치(200)는 도1을 참조하여 상술한 하나 이상의 사용자 디바이스(110-1, 110-2) 또는 서버(120-140)에 적용될 수 있으며, 각 장치와 서버들은 일부 구성요소를 더 하거나 제외하여 구성됨으로써 동일하거나 유사한 내부 구성을 가질 수 있다.
도 2를 참조하면 컴퓨팅 장치(200)는 메모리(210), 프로세서(220), 통신 모듈(230) 그리고 송수신부(240)를 포함할 수 있다. 메모리(210)는 비-일시적인 컴퓨터 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 상술한 장치나 서버에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 디바이스(110) 등에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 사용자 디바이스(110) 등에 설치된 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다.
다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로, 상술한 서버)이 네트워크(1)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(230)은 네트워크(1)를 통해 사용자 기기(110)와 서버(120 -140)가 서로 통신하기 위한 기능을 제공할 수 있으며, 장치(110) 및/또는 서버(120 - 140) 각각이 다른 전자 기기와 통신하기 위한 기능을 제공할 수 있다.
송수신부(240)는 외부 입력/출력장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 외부 입력장치는 키보드, 마우스, 마이크로폰, 카메라 등의 장치를, 그리고 외부 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다.
다른 예로 송수신부(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.
또한, 다른 실시예들에서 컴퓨팅 장치(200)는 적용되는 장치의 성질에 따라서 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 예를 들어, 컴퓨팅 장치(200)가 사용자 디바이스(110)에 적용되는 경우 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 사용자 디바이스가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 더 포함되도록 구현될 수 있다.
하기에서 차량 및 스마트폴은 도 1에 기초하여 제어서버와 통신을 수행하고 데이터를 공유하는 디바이스일 수 있다. 즉, 하기에서 서술하는 차량 및 스마트폴은 도 1의 사용자 디바이스일 수 있으나 상술한 실시예로 한정되지 않는다. 또한, 자율주행 시스템에 기초하여 동작하는 제어서버는 상술한 서버들 중 하나의 타입일 수 있다. 하기에서는 설명의 편의를 위해 차량, 스마트폴 및 제어 서버를 포함하는 자율주행 시스템에 기초하여 서술하지만, 상기 구성들은 특정 타입의 디바이스로 제한되는 것은 아닐 수 있다.
또한, 일 예로, 차량, 스마트폴 및 제어서버는 도 2의 컴퓨팅 장치에 기초하여 동작할 수 있다. 즉, 각각의 구성들은 메모리, 프로세서, 통신 모듈 및 송수신부와 그 밖의 구성에 기초하여 동작하는 컴퓨팅 장치일 수 있다. 하기에서는 설명의 편의를 위해 차량, 스마트폴 및 제어 서버를 포함하는 자율주행 시스템에 기초하여 서술하지만, 상기 구성들은 컴퓨팅 장치로서 다양한 구성들을 포함할 수 있으며, 특정 컴퓨팅 장치로 한정되는 것은 아닐 수 있다.
일 예로, 기존 자율주행 시스템에서는 차량에 라이다 센서가 설치되어 운용될 수 있었다. 여기서, 라이다 (LiDAR: Light Detection And Ranging) 센서는 레이저를 이용해 물체까지의 거리를 측정하는 센서를 의미할 수 있다. 라이다 센서는 촬영 대상 개체의 표면과 검출 범위에 레이저를 조사한 후 반사되는 신호를 분석해 거리 및 개체의 속성을 측정할 수 있다. 라이다 센서는 단순 거리 측정뿐만 아니라 물체의 형상까지도 정밀하게 파악할 수 있다. 즉, 라이다 센서는 물체 인식 능력이 뛰어날 수 있으며, 기존에는 라이다 센서가 설치된 차량에 기초하여 주행 관련 정보가 획득될 수 있었다. 이때, 차량은 주변 지형 및 사물을 실시간으로 탐지하여 3차원 매핑을 하기 위해 필수적으로 사용하는 센서로 활용하고, 그 밖에도 라이다 센서를 통해 보행자나 도로 위 장애물 등을 인지할 수 있었다. 다만, 일 예로, 라이다 센서를 활용하는 차량은 기술 및 가격 이슈에 기초하여 사용에 제약이 클 수 있다. 보다 상세하게는, 도 3에서처럼 라이다 센서가 부착된 특수 차량(310)을 통해서만 주행 관련 정보가 획득될 수 있었으며, 이에 따라 자율주행 시스템에는 한계가 존재할 수 있다. 구체적으로, 라이다 센서를 활용하는 차량은 설치된 라이더 센서 및 그 밖의 센서를 통해 이동하면서 주변 객체를 인식하여 정보를 획득할 수 있다. 이때, 차량(310)은 획득한 정보를 클라우드 서버(320)로 전송하고, 클라우드 서버(320)는 획득한 정보를 통해 자율주행 시스템을 구축할 수 있다. 구체적인 일 예로, 클라우드 서버(320)는 차량(310)으로부터 획득한 정보에 기초하여 고정밀 지도를 제작할 수 있었다. 그 후, 클라우드 서버(320)를 통해 획득한 정보들이 자율주행 차량(330)으로 제공될 수 있었다.
다만, 상술한 방식은 개별적인 차량의 라이다 센서들이 다른 이웃한 차량의 라이다 센서의 결과를 이용하지 않는 문제점이 존재할 수 있다. 또한, 일 예로, 인접한 차량들 각각이 라이다 센서를 구비해야 하고 유사한 주변을 센싱 및 처리해야 하므로 비효율적일 수 있으며, 실시간 정보를 반영하는데 한계가 존재할 수 있다.
상술한 점을 고려하여 라이다 센서를 가지는 스마트폴을 이용하여 자율주행 시스템을 구축하는 방법을 고려할 수 있다. 일 예로, 스마트폴은 가로등과 같은 도로 주변 장치일 수 있다. 가로등은 가로교통의 안전과 보안을 위하여 가로를 따라서 설치한 조명시설로 고속도로, 시가지의 주요도로, 상업지구 도로, 주택지구 도로 등 설치장소에 따라 그에 알맞은 종류로 설치된 조형물일 수 있다. 또한, 가로등은 지하 혹은 건물 내에서 차량 및 오브젝트 이동을 돕기 위한 조명 시설도 포함할 수 있다. 즉, 가로등은 도로 주변에 일정 간격으로 다수 설치되어 있으며, 가로등을 이용하여 자율주행 시스템을 위한 스마트폴이 구현될 수 있다. 여기서, 일 예로, 라이다 센서는 차량 이외에는 단순 차량 검지 및 판독 시스템, 신호 및 정지선 위반 차량 단속, 울타리, 펜스 침입 감시, 미술품 도난 감시, 횡단보도 보행자 안전관리, 철도 철로 추락 감시 등에 도입되는 센서로 스마트폴처럼 고정된 장치에도 설치가 가능할 수 있다.
보다 상세하게는, 도 4a를 참조하면, 가로등(410)에서 라이다 센서의 배치는 상황과 용도를 고려하여 다양한 방식으로 배치될 수 있다. 라이다 센서(411)는 전주의 끝 부분에 장착될 수 있다. 또한, 실내 또는 지하에 사용되는 가로등의 경우 전주 중앙 부위 등에 배치할 수도 있으며, 이는 도 4a와 같을 수 있다.
또 다른 일 예로, 도 4b를 참조하면, 기존 가로등(410)에 라이다 센서(411) 및 주행 관련 정보 획득과 관련된 다양한 장치가 설치될 수 있다. 일 예로, WiFi 장치 및 디스플레이 장치가 가로등(410)에 설치될 수 있으며, 라이다 센서(411)도 부착되어 스마트폴의 기능을 수행할 수 있다. 또한, 일 예로, 도 4c를 참조하면, 라이다 센서(411-2)는 가로등(410) 중앙에 설치되어 다양한 화각으로 정보를 수집할 수 있으며, 이에 대해서는 후술한다. 여기서, 가로등(410)에 장착하는 라이다 센서(411-1, 411-2)의 수 및 위치는 도로 구성, 유동인구, 차량유입 및 신호체계 중 적어도 어느 하나에 기초하여 변경될 수 있으며, 상술한 실시예로 한정되지 않는다. 하기에서는 설명의 편의를 위해 상술한 바에 기초하여 동작하는 장치를 스마트폴로 지칭한다.
또한, 일 예로, 도 5a를 참조하면, 스마트폴은 중앙처리 장치 또는 내부 프로세서의 제어에 따라 송신광의 빔스티어링의 각도를 수평/수직 방향으로 조정할 수 있다. 여기서, 송신광은 오브젝트를 감지하기 위한 신호일 수 있으며, 빔스티어링에 기초하여 오브젝트 감지 영역이 설정될 수 있다. 또한, 스마트폴은 주행 상황 정보 또는 화각 설정에 기초하여, FPS(frames per second)과 해상도를 수정할 수 있다.
구체적인 일 예로, 도 5b를 참조하면, 제 1 스마트 폴(510-1) 및 제 2 스마트 폴(510-2)은 함께 연동될 수 있도록 각각의 송신광에 대한 빔스티어링(또는 빔포밍) 각도가 조절될 수 있다. 일 예로, 제 1 스마트 폴(510-1) 및 제 2 스마트 폴(510-2)은 각각 대칭되는 위치에서 유사한 영역에 대한 오브젝트를 감지할 수 있다. 여기서, 제어서버(미도시)는 제 1 스마트 폴(510-1) 및 제 2 스마트 폴(510-2)로부터 수신한 각각의 정보를 이용하여 오브젝트에 대한 감지를 수행할 수 있으며, 복수 개의 스마트폴을 이용하는바 정확도가 높아질 수 있다.
또 다른 일 예로, 제 3 스마트 폴(510-3) 및 제 4 스마트 폴(510-4)은 교차로에서 횡단보도의 오브젝트를 감지할 수 있다. 여기서, 교차로는 사고가 많고, 횡단보도는 보행자에 의해 많은 오브젝트가 감지되는 영역일 수 있다. 상술한 점을 고려하여 제 3 스마트 폴(510-3)의 송신광은 횡단보도 및 교차로 주변으로 오브젝트를 감지할 수 있도록 빔스티어링이 제어될 수 있다. 또한, 일 예로, 제 3 스마트 폴(510-3)의 송신광은 보행자 키 높이에 기초하여 수평 방향 빔스티어링이 제어될 수 있다. 제 4 스마트 폴(510-4)도 횡단보도 및 교차로와 일정 거리가 존재하지만 빔스티어링을 통해 해당 영역에 대한 감지를 수행하도록 제어될 수 있다. 이를 통해, 제어서버는 제 3 스마트 폴(510-3) 및 제 4 스마트 폴(510-4)을 통해 오브젝트 정보를 획득할 수 있으며, 이를 통해 정밀도를 높일 수 있다. 여기서, 각각의 스마트폴이 센싱을 수행하는 영역은 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 또는 그밖의 정보에 기초하여 다양하게 설정될 수 있다.
또 다른 일 예로, 제어서버는 스마트폴 각각에 대한 빔스티어링을 제어할 수 있다. 일 예로, 각각의 스마트폴에는 기 설정된 빔스티어링 방향이 복수 개 존재할 수 있다. 이때, 제어서버는 스마트폴의 위치 및 스마트폴 주변의 상황을 고려하여 획득하고자 하는 오브젝트 정보의 센싱 정확도를 높일 수 있도록 스마트폴 각각에 대한 빔스티어링을 제어할 수 있으며, 이에 기초하여 고정밀 지도를 생성할 수 있다.
여기서, 자율주행 시스템을 위해 고정밀지도(HD map, High Definition map)는 도로, 지형의 고저 및 곡률과 같은 주변환경 정보가 3D로 구현된 지도일 수 있다. HD Map의 오차범위는 10cm로 기존 지도보다 높은 정확성을 가질 수 있으며, 이를 통해 자율주행 시스템의 정확도를 높일 수 있다.
구체적인 일 예로, 도 6을 참조하면, 자율주행은 레벨 0 부터 레벨 5까지 6단계로 구분될 수 있다. 이때, 단순 경고 및 일시 개입의 동작을 수행하는 경우는 레벨 0에 해당할 수 있다. 특정 주행모드에서 시스템이 조향 또는 감·가속 중 하나를 수행하는 컨트롤 등은 레벨 1에 해당할 수 있다. 또한, 특정 주행모드에서 시스템이 조향 및 감·가속을 모두 수행하는 고속도로 주행 보조는 레벨 2에 해당할 수 있다. 이때, 레벨 0 내지 레벨 2는 운전자 주도하에 시스템이 일부 주행을 보조하는 단계일 수 있다. 반면, 레벨 3부터는 시스템이 전체 주행을 수행할 수 있다. 즉, 레벨 3은 차량 제어와 주행환경을 동시에 인식하고, 비상 상황 시 운전 제어권 이양을 운전자할 수 있다. 또한, 레벨 4는 시스템이 전체 주행을 수행할 수 있으며, 위험 상황 발생 시에도 직접 대응할 수 있다. 또한, 레벨 4는 자율 주행을 할 수 있는 지역에 제한이 있지만, 레벨 5는 제약이 없는 완전한 자율주행일 수 있다. 즉, 상술한 바와 같이 자율주행은 각각의 단계가 존재하며 완전 자율주행을 위한 자율주행 시스템의 정확도가 요구될 수 있다.
상술한 점을 고려하여, HD Map의 고정밀 지도가 필요할 수 있으며, 하기에서 자율주행 시스템은 스마프폴을 이용하여 자율주행에 필요한 고정밀 지도를 위한 정보를 획득하는 방법을 서술한다.
구체적인 일 예로, 도 7을 참조하면, 스마트폴(710)은 제어서버(또는 중앙처리장치, 클라우드 서버, 720) 및 차량(730)과 통신을 수행할 수 있다. 일 예로, 스마트폴(710)은 제어서버(720)로 자율주행 시스템에서 필요한 HD Map 제작 관련 정보를 주기적으로 제공하여 업데이트할 수 있다. 또한, 일 예로, 스마트폴(710)은 차량(730)으로 도로 정보를 직접 제공할 수 있다. 또한, 차량(730)은 제어서버(720)로부터 HD Map이나 그 밖의 운행 상황 및 도로 정보를 획득하고, 이에 기초하여 자율주행을 수행할 수 있다. 이때, 차량(730)은 스마트폴(710) 및 제어서버(720)로부터 획득한 정보를 이용하여 자율주행 정확도를 높일 수 있으며, 완전 자율주행에 근접한 주행을 하도록 할 수 있다.
보다 구체적인 일 예로, 도 8을 참조하면, 스마트폴의 각각의 라이다 센서는 데이터를 수집하고, 이를 통신 컴포넌트로 스마트폴(또는 가로등)으로 제공할 수 있다. 그 후, 각각의 스마트폴은 획득한 정보들을 중계기로 보내고, 이에 대한 정보는 허브를 통해 제어서버로 전송될 수 있다. 제어서버는 상술한 바에 기초하여 획득한 정보를 통해 HD Map을 포함한 자율주행과 관련된 다양한 정보들을 생성할 수 있다. 또한, 도 9를 참조하면, 제어서버는 통신 컴포넌트를 통해 상기 자율주행과 관련된 다양한 정보들을 차량으로 제공할 수 있다. 또한, 차량은 통신 컴포넌트를 통해 스마트폴로부터 자율주행 관련 다양한 정보를 획득할 수 있으며, 이에 기초하여 자율주행을 수행할 수 있다.
이때, 일 예로, HD Map과 관련하여, 현재까지는 HD Map 구성을 위해서 주로 차량을 통한 MMS(모바일 맵핑 시스템) 방식이 이용되고 있으며, 이는 상술한 도 3과 같다. 이때, 다양한 센서를 탑재한 차량이 지도 작성을 위한 지역을 이동하며 데이터를 확보하고, 이를 기반으로 기본 도로를 구성할 수 있다. 이후 MMS 차량 혹은 데이터 업로드가 가능한 차량이 도로를 주행하면서 기존 도로상황 대비 변동사항을 제어서버에 전송할 수 있으며, 제어서버를 수신한 정보로 HD Map을 업데이트할 수 있다. 즉, 차량 센서를 통해 차량이 주기적으로 이동하여야 업데이트가 수행될 수 있다.
상술한 점을 고려하면, 제어서버는 실시간 업데이트가 용이하지 않을 수 있으며, 차량 주행을 고려해야 하는바 한계가 존재할 수 있다. 반면, 스마트폴은 상술한바처럼 고정된 위치에서 실시간으로 정보를 제어서버로 전송할 수 있으므로 업데이트가 용이할 수 있다. 여기서, 라이다 센서는 오브젝트를 높은 정확도의 3D로 인식할 수 있다. 또한, 라이다 센서는 정보전송 및 위치/맵핑이 용이함에 따라 HD Map 구현에 중요한 역할을 할 수 있다. 따라서, 스마트폴은 라이다 센서를 장착하고, 이를 통해 주변 상황을 인지하여 제어서버로 전송할 수 있다. 또한, 스마트폴은 도로상태뿐만 아니라 사고없는 안전한 주행을 위해 고려되야 하는 오브젝트 정보에 대한 정보도 수집할 수 있다. 일 예로, 오브젝트는 차선, 타 차량, 보행자, 빛, 드론, 교통 신호, 도로, 구조물, 과속 방지턱, 지형물 및 동물 중 적어도 어느 하나를 포함할 수 있다.
여기서, 상술한 제어서버는 HD Map을 구성하고, 특정 지역의 교통신호를 제어할 수 있는 중앙처리장치와 클라우드 서버와 정보를 교환하는 서버일 수 있다. 이때, 상술한 경우에는 통신망을 통해 정보가 교환될 수 있다. 통신망은 V2X(Vehicle to Everything)이 주로 사용될 수 있다. 일 예로, V2X는 서버 또는 타 차량과의 무선 통신 수행을 위함이며, 차량간 통신(V2V) 또는 차량과 인프라간 통신(V2I)을 포함할 수 있다. 차량은 V2X 통신을 통해 외부 서버 및 타 차량과 무선 통신을 수행할 수 있다. 일 예로, V2X 통신은 고속 주행하는 자동차 환경에 특화된 무선 통신 기술로 WAVE(Wireless Accesss in Vehicular Environment)나 LTE, 5G 등의 기술이 활용될 수 있으며, 이를 통해 차량 및 주변 장치들과 효율적인 통신이 수행될 수 있다. 상술한 바에 기초하여, 차량은 도로 상황이나 최적 경로, 교통 정보 등을 원거리에서 실시간으로 주고 받을 수 있으며, 환경 변화에 따라 통신망에는 근거리 통신 모듈, 위치 정보 모듈 및 광통신 모듈을 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 일 예로, 스마트폴에서 제어서버로 정보가 전달되는 경우를 고려하면, 스마트폴의 라이다 센서는 반경 내에 위치한 오브젝트, 도로 상태 및 상황을 감지할 수 있다. 여기서, 라이다 센서는 반경 내에 오브젝트 유무 파악과 효율적인 판별을 위해 라이다 이외의 센서(e.g. 카메라 센서)를 장착할 수 있으며, 이를 통해 탐지 정확도를 높일 수 있다. 라이다 센서는 오브젝트를 탐지하기 위해 레이저를 조사한 후 반사되는 신호를 분석해 거리 및 개체의 속성을 측정할 수 있다. 여기서, 라이다 센서는 단순 거리 측정뿐만 아니라 물체의 형상까지도 정밀하게 파악할 수 있다. 그 후, 라이다 센서는 오브젝트를 탐지하면서 도로 상태 및 상황도 확인할 수 있으며, 기존 HD Map과 차이점을 확인할 수 있다. 여기서, 스마트폴은 라이다 센서로부터 획득한 정보를 수집하고, 이를 통신 컴포넌트를 활용하여 중계기를 거쳐 제어서버로 전송할 수 있다. 제어서버는 스마트폴의 위치 정보에 기초하여 HD Map을 업데이트하고, 오브젝트 위치 및 상태를 파악할 수 있다.
또한, 일 예로, 제어서버는 상술한 바에 기초하여 획득한 정보를 자율주행 차량으로 전달할 수 있다. 여기서, 자율주행 차량은 카메라, 레이더 및 그 밖의 센서를 포함할 수 있다. 또한, 자율주행 차량은 차량 내부에 존재하는 소프트웨어를 기반으로 하는 차량 제어시스템을 통해 차량 하드웨어를 조정 및 제어하며 운행하는 차량일 수 있다. 일 예로, 자율주차기능(PAS), 크루즈 컨트롤(Cruise Control) 이상의 ADAS 기능을 수행할 수 있는 차량이 자율주행 차량으로 포함될 있다. 여기서, 자율주행 차량은 스마트폴 및 제어서버로부터 수신한 정보에 기초하여 주행에 영향을 줄 수 있는 오브젝트 정보로써 위치 및 예상 궤적 정보를 확인하고, 이에 기초하여 주행할 수 있다. 또한, 일 예로, 자율주행 차량은 제어서버로부터 HD Map을 수신하고, 다른 스마트폴에 기초하여 도시 또는 특정 지역 내의 교통신호와 밀집도 정보를 수신할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 일 예로, 도 10을 참조하면, 자율주행 차량의 자율주행을 위해서는 인지(Sensing) - 계획(Plan) - 동작(Act)의 단계가 필요할 수 있다. 보다 상세하게는, 자율주행 차량은 라이다 센서를 포함한 다양한 센서로부터 수집한 미가공 원본데이터를 획득하고, 이에 기초하여 유의미한 정보를 도출할 수 있다. 또한, 자율주행 차량은 차량위치에 대한 로컬라이제이션을 통해 주변환경을 파악하고 인지할 수 있다. 그 후, 자율주행 차량은 목표지점까지 안전하게 도달하는데 필요한 경로 계획을 확정하고, 이에 기초하여 실제 주행을 설계할 수 있다. 여기서, 상술한 각각의 단계에서는 다양한 정보들이 주기적 또는 실시간으로 필요할 수 있으며, 자율주행 차량은 스마트폴 및 제어서버로부터 정보를 수신하여 주행을 수행할 수 있다.
여기서, 자율주행 시스템은 도로 상태, 오브젝트 인지/판단 정보, 고정밀 지도, 도로교통신호 및 혼잡도 정보를 자율주행 차량으로 제시할 수 있다. 자율주행 시스템은 수신한 정보에 기초하여 자율주행에서 요구되는 인지, 매핑 및 로컬라이제이션을 제공할 수 있다. 그 후, 자율주행 시스템은 트래픽 예측과 경로계획을 보조함으로 도시 혹은 특정 지역 내에서의 자율주행을 보조할 수 있다. 즉, 자율주행 시스템은 차량에서 자체적으로 판단해야 하는 상당부분을 해결해 줌에 따라 자율주행에서 요구되는 많은 데이터와 이를 기반으로 하는 판단의 빈도를 낮출 수 있고, 자율주행의 안정성을 높여줄 수 있다.
보다 구체적인 일 예로, 자율주행 시스템에서 스마트폴은 자율주행에 요구되는 고정밀 지도(HD Map)의 구성과 업데이트에 필요한 정보를 획득하여 제어서버로 전송할 수 있으며, 이는 상술한 바와 같다.
또한, 제어서버는 고정밀 지도의 전송뿐만 아니라 도시 혹은 특정지역 내의 교통신호를 제어할 수 있으며, 이에 기초하여 자율주행 차량으로 정보를 제공할 수 있다.
또한, 자율주행 차량은 차량 인근에 위치한 스마트폴 및 제어서버로부터 정보를 전달받을 수 있으며, 이에 기초하여 자체적으로 취득 및 처리할 데이터의 양을 줄일 수 있다. 여기서, 자율주행 차량이 외부와 통신이 불가능한 경우, 자율주행을 중지하고 정차할 수 있으다. 즉, 자율주행 차량은 통신이 수행됨을 전제로 동작할 수 있다.
자율주행 시스템과 관련된 보다 구체적인 일 예로, 스마트 호출과 발렛파킹(Valet Parking) 서비스를 고려할 수 있다. 일 예로, 도시 또는 특정지역 내 자율주행 기능을 활용하여 스마트 호출과 발렛파킹(Valet Parking) 서비스를 제공할 수 있다. 자율주행이 가능해짐에 따라 차량 소유자 또는 이용자는 본인의 위치정보를 제공하면 해당 위치로 차량호출이 가능해지며, 차량 소유자 또는 이용자가 하차한 이후 차량은 인접지역에 위치한 주차타워로 이동하여 자율주차가 수행될 수 있다.
또한, 스마트 호출은 호출자 또는 서비스 이용자가 개인 디바이스 또는 도심 내 위치한 스마트폴 등 기반시설을 활용하여 제어서버로 출발할 위치와 출발자, 그리고 목적지 정보를 전송할 수 있다. 그 후, 제어서버는 주차 혹은 정차된 차량에게 호출 정보 및 도로 정보 및 상황을 전달할 수 있다. 이때, 자율주행 차량은 전달받은 정보를 바탕으로 자체적인 소프트웨어 혹은 외부 인프라를 활용하여 호출지 및 목적지까지의 예상되는 이동시간과 경로를 검토할 수 있다. 이후, 자율주행 차량은 통신 컴포넌트를 활용하여 제어 서버 또는 서비스 이용자에게 정보를 전달할 수 있다. 또한, 자율주행 차량은 주차 또는 정차 공간을 벗어난 이후 차량은 자율주행 시스템에 기초하여 자율주행을 수행할 수 있다.
또 다른 일 예로, 발렛파킹 서비스는 차량 이용자가 목적지 도착 이후 일정 소요시간 이상 차량을 사용하지 않을 경우, 개인 디바이스 또는 도심 내 위치한 가로등 등 기반시설을 활용하여 자율주행 시스템에 차량의 주차 여부를 전송할 수 있다. 그 후, 자율주행 시스템은 차량의 위치정보와 도로 상황, 주차타워의 주차여력을 감안하여 가능한 주차타워를 선정하고, 차량에 정보를 전달할 수 있다. 이때, 차량은 전달받은 주차타워로 자율주행을 기반으로 이동하고, 주차타워 내에서 주차공간 여부는 타워 내부에 위치한 스마트폴 및 고정밀 지도 데이터를 활용하여 확인 후 주차공간을 파악한다. 그 후, 차량은 전달받은 주차장 내부 지도와 추가공간 정보를 활용하여 타워 내부를 이동하고, 주차를 수행할 수 있다.
여기서, 일 예로, 상술한 스마트 호출 및 발렛파킹 관련해서 서비스 편의성을 높여주기 위해 어플리케이션과의 연동이 수행될 수 있다. 이때, 연동 가능한 어플리케이션은 차량 및 도로 정보를 제공하는 기존 네비게이션 앱 또는 차량 호출 서비스와 연계된 앱일 수 있다.
또한, 상술한 바를 위한 새로운 어플리케이션이 도입될 수 있으며, 새로운 어플리케이션은 차량의 위치, 도착 예정 시간, 예상 경로 등을 서비스 이용자가 소유한 디바이스의 디스플레이에서 확인하도록 할 수 있다. 또 다른 일 예로, 해당 디바이스에서 예정 시간과 희망 경로 등을 수정 가능하며 관련 정보를 타인에게 공유하도록 할 수 있다.
또한, 자율주행 시스템에 기초하여 주차나 호출 이외의 다양한 서비스가 수행될 수 있다. 일 예로, 차량의 충전소 이동, 지정된 장소에서 물건의 탑재 또는 하차가 자율주행 시스템에 기초하여 수행될 수 있다. 또한, 일 예로, 자율주행 차량의 이동과 정차 중에 발생할 수 있는 비용은 차량, 스마트폴 및 제어서버의 통신을 활용하여 운전자 디바이스를 통해 결제될 수 있다.
또한, 일 예로, 제어서버가 HD Map을 구성하기 위해서는 데이터 정합률 또는 객체 인식률을 높일 필요성이 있다. 보다 상세하게는, 고정밀지도(HD Map)을 구성하기 위해서 도 11에서처럼 빅 데이터를 활용하여 맵 데이터 처리가 수행될 수 있으며, 이를 통해 정확도가 높아질 수 있다. 또한, 일 예로, 도 12에서처럼 ROI를 추출하고, 이에 기초하여 이미지 처리를 수행함으로서 데이터 정확도를 높일 수 있다. 또한, 일 예로, 도 13에서처럼 복수 개의 레이어를 이용하여 각각의 데이터를 분산처리하도록 함으로서 정확도를 높일 수 있다. 또한, 그 밖에도 다양한 방법에 기초하여 데이터 정합도가 높아질 수 있으며, 상술한 실시예로 한정되지 않는다.
상술한 바처럼 자율주행 시스템은 자율주행 차량의 주행 정확도를 높이기 위한 동작들을 수행할 수 있으며, 스마트폴, 제어서버 및 자율주행 차량으로 구성될 수 있다. 즉, 스마트폴, 제어서버 및 자율주행 차량 상호간의 통신에 기초하여 정보가 교환되고, 자율주행을 위한 정보를 처리할 있다.
여기서, 일 예로, 자율주행 시스템의 구성으로서 스마트폴, 제어서버 및 자율주행 차량 각각에 대한 동작이 정의될 필요성이 있다. 도 14a를 참조하면, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 각각 라이다 센서 및 그 밖의 센서들을 포함하고, 이를 통해 주변 오브젝트를 감지하여 자율주행 관련 정보를 획득할 수 있다. 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4) 각각은 고정된 위치에 존재하며, 각각의 위치 정보에 기초하여 자율주행 관련 정보를 획득할 수 있다. 또한, 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4) 각각은 상술한 빔스티어링에 기초하여 센싱하는 영역을 조절할 수 있으며, 이에 기초하여 확인이 필요한 영역에 대한 센싱을 수행할 수 있다. 상술한 바와 같이, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)을 통해 획득된 자율 주행 관련 정보들은 제어서버(1420)로 전송될 수 있다. 여기서, 제어서버(1420)는 자율주행 시스템에서 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)들로부터 수신한 정보를 이용하여 HD Map을 제작할 수 있다. 또한, 일 예로, 제어서버(1420)는 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)로부터 획득한 자율주행 관련 정보를 처리하여 자율주행에 필요한 정보를 재-생성하고, 이를 자율주행 차량에게 제공할 수 있다.
보다 구체적인 일 예로, 도 14b를 참조하면, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 교차로에 위치한 스마트폴일 수 있다. 다만, 이는 하나의 일 예일 뿐, 스마트폴은 도로 위의 다양하게 설치될 수 있다. 여기서, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)들은 교차로 주변 정보들을 센싱할 수 있다. 이때, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 센싱한 정보를 제어서버(1420)로 전송하고, 제어서버(1420)는 HD Map을 제작할 수 있다. 이때, 제어서버(1420)는 HD Map 정보를 자율주행 차량(1430)에게 제공할 수 있으며, 이를 통해 자율주행 차량(1430)은 자율주행을 수행할 수 있다. 또한, 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 실시간 정보를 획득하여 제어서버(1420)로 전송할 수 있다. 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 자율주행 차량(1430)이 교차로에서 우회전함을 디텍트할 수 있다. 여기서, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4) 각각은 센싱 영역이 다를 수 있으며, 각각의 센싱 영역에서 오브젝트의 이동을 감지하고, 이에 대한 정보를 추출하여 제어서버(1420)로 전송할 수 있다. 이때, 제어서버(1420)는 자율주행 차량(1430)이 교차로에서 주행되고 있음을 감지하고, 이와 관련된 자율주행 정보를 자율주행 차량(1430)에게 제공할 수 있다. 일 예로, 제어서버(1420)는 횡단보도 신호 정보나 횡단보도에 보행자 존재 여부에 대한 정보를 자율주행 차량(1430)에게 제공할 수 있다. 자율주행 차량(1430)은 제어서버(1420)로부터 수신한 정보 및 자신이 직접 센싱한 정보를 함께 이용하여 횡딘보도에서 보행자를 감지하여 주행할 수 있다. 즉, 상술한 바와 같이, 자율주행 시스템은 스마트폴, 제어서버 및 자율주행 차량의 상호 정보 교환을 통해 동작할 수 있으며, 이에 기초하여 자율주행 정확도를 높일 수 있다.
여기서, 스마트폴은 라이더 센서 이외에 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서, 습도센서, 디스플레이 장치 및 와이파이 장치 중 적어도 어느 하나 이상을 더 포함할 수 있다. 또한, 일 예로, 스마트폴은 HD Map을 제작하거나 오브젝트 탐지 정확도를 높이기 위한 다른 센서를 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 스마트폴은 상술한 센서에 기초하여 오브젝트에 대한 이미지 정보뿐만 아니라, 오브젝트의 윤곽 정보, 온도 정보, 열화성 정보 및 밝기 정보 중 적어도 하나 이상을 더 센싱할 수 있으며, 이에 대한 정보를 제어서버로 전송할 수 있다. 제어서버는 이미지 정보뿐만 아니라 상술한 정보 중 적어도 어느 하나를 더 고려하여 HD Map 정보를 생성할 수 있다.
또한, 일 예로, 상술한 바와 같이, 스마트폴은 센싱 영역을 제어할 수 있다. 스마트폴은 고정된 위치에서 빔스티어링 및 센서 조정을 통해 센싱을 위한 방향 및 영역 크기 정보를 조절할 수 있다. 일 예로, 오브젝트의 세밀한 정보를 획득하기 위해 스마트폴의 빔은 샤프하게 설정되고, 이에 기초하여 고밀도의 오브젝트 정보가 획득될 수 있다. 또 다른 일 예로, 스마트폴이 넓은 영역을 센싱할 수 있도록 빔은 브로드하게 설정되고, 넓은 영역의 다양한 오브젝트를 센싱하도록 할 수 있으며, 이에 기초하여 다양한 정보를 획득할 수 있다. 또한, 일 예로, 스마트폴의 센싱 방향도 제어될 수 있으며, 이를 통해 다양한 영역을 센싱할 수 있다. 또한, 스마트폴은 상술한 바와 같이 가로등일 수 있으나, 이에 제한되는 것은 아닐 수 있다. 일 예로, 도 15를 참조하면, 스마트폴은 가로등(1510) 형태일 수 있다. 또는 스마트폴은 지하철 출입구에 세워진 표시판(1520)이거나, 특정 건물(1530), 버스 정거장(1540) 또는 차량 펜스(1550) 중 적어도 어느 하나의 장치일 수 있다. 즉, 스마트폴은 도로 주변에 센서가 설치될 수 있는 다양한 물체일 수 있으며, 특정 형태로 제한되지 않는다. 일 예로, 스마트폴이 상술한 바와 같이 다양한 형태인 경우, 스마트폴의 센싱 화각이 다양할 수 있다. 일 예로, 가로등 형태의 스마트폴(1510)은 보행자 키 높이를 센싱하고, 차량 펜스 형태의 스마트폴(1550)은 낮은 높이를 센싱하고, 건물 형태의 스마트폴(1530)은 원거리 형태의 센싱을 수행할 수 있다. 즉, 스마트폴은 다양한 형태로 설치되어 다양한 센싱을 수행할 수 있다.
또 다른 일 예로, 스마트폴은 복수 개가 설치되기 때문에 특정 영역 내 객체의 종류, 객체의 현재 위치, 이동 방향 및 이동 속도 정보 중 적어도 어느 하나 이상을 획득할 수 있다. 즉, 스마트폴은 이동하는 차량의 실시간 정보를 획득할 수 있다. 구체적인 일 예로, 도 16을 참조하면, 복수 개의 스마트폴(1610-1, 1610-2, 1610-3, 1610-4)들은 교차로 주변의 오브젝트를 센싱할 수 있다. 또한, 각각의 자율주행 차량(1620-1, 1620-2, 1620-3, 1620-4)들 각각도 주변 오브젝트 정보를 신셍할 수 있다. 이때, 일 예로, 제 1 자율주행 차량(1620-1)이 교차로를 주행중인 경우, 제 2 자율주행 차량(1620-2)는 보행자(1630)를 인식하지 못할 수 있다. 여기서, 제 1 스마트폴(1610-1) 및 제 2 스마트폴(1610-2)은 보행자(1630)를 인식할 수 있으며, 이에 대한 정보를 제어서버 또는 제 2 자율주행 차량(1620-2)에게 직접 제공할 수 있다. 또한, 구체적인 일 예로, 제어서버는 제 1 스마트폴(1610-1) 및 제 2 스마트폴(1610-2)로부터 인식되는 보행자(1630) 및 제 1 자율주행 차량(1620-1)에 대한 정보를 획득하고, 이에 기초하여 제 2 자율주행 차량(1620-2)의 시야가 제한됨을 확인할 수 있다. 이때, 제어서버는 제 2 자율주행 차량(1620-2)의 시야가 제한됨을 인지하면 보행자(1630)에 대한 정보를 제공할 수 있다. 즉, 제어서버는 제 2 자율주행 차량(1620-2)의 시야가 제한되는 이벤트를 인지하는 경우에만 관련 정보를 제공하여 무분별한 정보 제공이 수행되지 않도록 할 수 있다.
또 다른 일 예로, 제어서버는 복수 개의 자율주행 차량 또는 스마트폴의 센서로부터 획득한 정보에 기초하여 HD Map 내에서 오브젝트에 대한 정보를 디스플레이할 수 있다. 즉, 제어서버는 HD Map과 함께 실시간으로 변동되는 오브젝트에 대한 정보를 자율주행 차량에게 제공할 수 있으며, 이를 통해 자율주행이 제어될 수 있다.
또 다른 일 예로, 상술한 제어서버는 중앙 서버 방식으로 설정될 수 있다. 즉, 복수 개의 스마트폴을 제어하는 중앙 서버 방식일 수 있다. 다만, 자율주행 시스템은 도로 전반에 걸쳐서 동작하여야 하고, 중앙 서버로 동작하는데 지연 등의 문제가 발생할 수 있으므로 제어 서버는 엣지 컴퓨팅에 기초하여 분산된 형태로 구현될 수 있다. 구체적인 일 예로, 제어서버는 복수 개의 스마트폴 중 특정 스마트폴로 설정되고, 일정 영역마다 설정될 수 있다. 또한, 제어서버는 일정 영역별로 별도로 구성될 수 있으며, 상술한 실시예로 한정되지 않는다. 즉, 제어서버는 다양한 형태로 구현될 수 있으며, 특정 영역을 제어하도록 설정될 수 있다.
또한, 일 예로, 제어서버는 스마트폴의 라이다 센서를 통해 기본지도를 생성할 수 있다. 이때, 제어서버는 기본지도에서는 고정된 사물에 대한 정보를 규정할 수 있다 일 예로, 벤치, 화단, 건물의 형태 및 가로등 위치 정보는 고정된 형태의 정보일 수 있다. 그 후, 고정된 사물에 정보를 제외하여 실시간으로 이동하는 오브젝트를 센싱할 수 있으며, 이를 통해 오브젝트의 이동속도를 추정하거나 관련 정보를 획득할 수 있다. 또한, 고정된 사물에 대한 정보 처리를 줄일 수 있어 데이터 처리 속도를 향상시킬 수 있다. 또한, 오브젝트의 이동을 디텍트하는 경우, 오브젝트의 종류, 오브젝트의 이동방향, 오브젝트의 종전속도, 오브젝트의 자세(e.g. 사람의 경우 팔을 들었는지 스마트폰을 손에 들었는지 들다가 가방에 넣었는지 등) 정보를 획득하고, 이에 기초하여 이동 속도 및 방향을 인지할 수 있으며, 자율주행에 활용하도록 할 수 있다.
또 다른 일 예로, 제어서버는 HD Map 내의 고정된 오브젝트 및 이동 오브젝트에 대한 정보를 데이터화하고, 이를 빅데이터로 활용할 수 있다. 여기서, 빅데이터에 기초한 기계학습이 수행될 수 있고, 기계학습을 통해 자율주행에 필요한 정보를 추출할 수 있다. 일 예로, 제어서버는 복수 개의 스마트폴로부터 수집된 정보를 이용하여 교통신호체계를 분석하고, 자율주행에 가장 도움이 될 수 있는 신호체계를 설계할 수 있다. 일 예로, 신호체계는 특정 시간대에 사람이 많이 지나가는 경우 보행신호를 길게 변경될 수 있다. 또한, 자율주행 차량의 이동 속도를 고려하여 주변 신호들과의 상관 관계를 분석하여 교통 흐름을 원활하게 하는 신호 체계를 학습할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 일 예로, 제어서버는 생성한(또는 실시간 업데이트된) 고정밀 지도를 사용할 것인지 여부를 특정 지역내 들어온 차량에 노티할 수 있다. 즉, 제어서버는 특정 영역에 진입하는 자율주행 차량에게 HD Map 제공 여부를 문의하고, 자율주행 차량의 승인하에 HD Map 정보를 제공할 수 있다. 일 예로, 자율주행 차량도 다수의 센서를 구비할 수 있으며, 센서에 의해 센싱된 정보와 제어서버로부터 수신한 정보가 불일치하는 경우에 자율주행에 방해가 될 수 있다. 상술한 점을 고려하여, 제어서버는 자율주행 차량에서 HD Map 정보 제공 여부를 문의하고, 자율주행 차량은 차량의 현재 상태 및 주변 환경에 기초하여 센싱 정확도를 고려하여 HD Map 정보 제공여부를 결정할 수 있다.
구체적인 일 예로, 제어서버는 자율주행 차량으로부터 해당 지역에 대한 고정밀 지도A를 수신하고 제어서버가 생성한 고정밀 지도B를 고정밀 지도 A와 비교할 수 있다. 이때, 제어서버는 두 지도의 매칭률(유사도)에 대한 정보를 차량에게 제공할 수 있다. 여기서, 제어서버가 장기간에 걸쳐 획득한 데이터로 생성된 지도 B의 정확도가 높을 수 있으나, 자율주행 차량의 라이다 센서에 기초하여 지도 A의 정확도가 높을 수 있다. 보다 구체적인 일 예로, 특정 지역에 갑작스런 공사가 진행되는 경우, 제어서버의 지도 B보다 자율주행 차량의 지도 A가 정확할 수 있으며, 이러한 경우 자율주행 차량은 자신이 획득한 센싱 정보를 활용하는 것이 자율주행에 도움을 줄 수 있다.
또 다른 일 예로, 도 17을 참조하면, 제어서버는 사각지역에 대한 제어를 수행할 수 있다. 일 예로, 복수 개의 스마트폴(1710-1, 1710-2)은 고정된 영역을 센싱하거나 빔스티어링에 기초하여 변경되는 영역을 센싱할 수 있다. 여기서, 복수 개의 스마트폴(1710-1, 1710-2)에 의해 센싱되지 않는 사각지역이 생길 수 있다. 일 예로, 자율주행 차량이 사각지역을 주행하는 경우에 제어서버는 해당 영역에 대한 정보를 자율주행 차량에게 제공할 수 없으므로 사각지역에 대한 정보와 함께 자율주행 차량이 직접 센싱을 수행하도록 요청할 수 있다. 또 다른 일 예로, 제어서버는 자율주행 차량에게 우회경로를 제공할 수 있으며, 이를 통해 제어 불가능한 영역이 존재하지 않도록 할 수 있다. 상술한 점을 고려하여 자율주행에서 있어서 예외적 상황(exceptional case)가 발생하지 않도록 할 수 있으며, 자율주행 안정성을 높일 수 있다.
도 18은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 제어 서버의 동작을 나타낸 순서도이다.
도 18을 참조하면, 자율주행 시스템은 자율주행 정보를 제공할 수 있다. 이때, 자율주행 시스템은 라이다 센서를 포함하고, 고정된 지리적 위치에 설치된 복수 개의 스마트폴, 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하고, 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하여 복수 개의 자율주행 차량으로 상기 HD map을 제공하는 제어서버를 포함할 수 있다.
이때, 제어서버는 라이다 센서를 포함하고 고정된 지리적 위치에 설치된 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신할 수 있다.(S1810) 그 후, 제어서버는 고정밀 지도 관련 정보를 통해 HD map을 제작하고(S1820), 제작된 HD map을 복수 개의 자율주행 차량으로 전달할 수 있다.(S1830) 여기서, 복수 개의 스마트폴은 라이더 센서 및 적어도 어느 하나 이상의 센서를 포함할 수 있다. 이때, 적어도 하나 이상의 센서는 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서 및 습도센서 중 적어도 어느 하나 이상을 포함할 수 있다. 이때, 스마트폴은 적어도 어느 하나의 센서에 기초하여 특정 영역 내의 오브젝트들의 이미지 정보, 오브젝트의 윤곽 정보, 온도 정보, 열화성 정보 및 밝기 정보 중 적어도 하나 이상을 센싱할 수 있다. 그 후, 스마트폴은 센싱된 정보에 기초하여 획득된 고정밀 지도 관련 정보를 제어서버로 전송할 수 있다.
또한, 일 예로, 복수 개의 스마트폴 중 제 1 스마트폴은 라이더 센서 및 적어도 어느 하나 이상의 센서에 기초하여 제 1 영역을 센싱할 수 있다. 그 후, 제 1 스마트폴은 센싱에 기초하여 획득된 고정밀 지도 관련 정보를 제어서버로 전송할 수 있다. 여기서, 제 1 영역은 라이더 센서 및 적어도 어느 하나 이상의 센서의 센싱 각도 및 빔스티어링에 기초하여 상이하게 설정될 수 있다. 즉, 각각의 스마트폴이 센싱하는 영역은 고정되지 않고 센서의 화각이나 높이 등에 기초하여 상이하게 설정될 수 있다. 구체적으로, 제 1 영역은 상기 제 1 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정될 수 있다.
또한, 일 예로, 복수 개의 스마트폴 중 제 2 스마트폴은 라이더 센서 및 적어도 어느 하나 이상의 센서에 기초하여 제 2 영역을 센싱하고, 센싱에 기초하여 획득된 고정밀 지도 관련 정보를 제어서버로 전송할 수 있다. 이때, 제 2 영역도 제 2 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정될 수 있다. 제어서버는 제 1 스마트폴로부터 획득한 센싱 정보 및 제 2 스마트폴로부터 획득한 센싱 정보에 기초하여 특정 영역에 대한 HD map을 제작할 수 있다.
또한, 일 예로, 스마트폴이 라이다 센서 및 적어도 어느 하나 이상의 센서를 통해 특정 영역을 센싱하는 경우, 특정 영역 내의 오브젝트들은 고정 오브젝트 및 이동 오브젝트로 구별될 수 있다. 여기서, 스마트폴이 고정밀 지도 관련 정보를 상기 제어서버로 전송하는 경우, 스마트폴은 고정 오브젝브 정보 및 이동 오브젝트 정보는 구별하여 전송할 수 있다. 이때, 이동 오브젝트에 대한 정보는 오브젝트의 종류 정보, 오브젝트의 이동방향 정보, 오브젝트의 기존속도 정보 및 오브젝트 자세 정보 중 적어도 어느 하나 이상을 포함할 수 있다. 또한, 이동 오브젝트 정보는 실시간으로 업데이트되되, 이동 오브젝트 정보는 고정 오브젝트 정보와 비교하여 업데이트될 수 있다. 일 예로, 이동 오브젝트의 이동속도 정보는 고정 오브젝트의 위치 정보에 기초하여 실시간으로 업데이트될 수 있으며, 이는 상술한 바와 같다.
또한, 일 예로, 스마트폴은 가로등 형태, 지하출 출입구 형태, 차량 펜스 형태, 건물 형태 및 버스 정거장 형태 중 적어도 어느 하나에 기초하여 설정될 수 있으며, 이는 상술한 바와 같다.
또한, 일 예로, 제어서버는 복수 개의 스마트폴로부터 복수 개의 고정밀 지도 관련 정보를 획득하고, 획득한 고정밀 지도 관련 정보를 이용하여 빅데이터를 구축할 수 있다. 또한, 제어서버는 구축된 빅데이터에 대한 기계학습을 통해 HD map을 업데이트할 수 있다. 또 다른 일 예로, 제어서버는 수행된 기계학습에 기초하여 교통신호체계 정보를 변경할 수 있다. 또한, 제어서버가 HD map을 상기 복수 개의 자율주행 차량에 제공하는 경우, 제어서버는 HD map 제공 여부를 복수 개의 자율주행 차량으로 문의하고, HD map 제공 여부를 동의한 자율주행 차량으로만 HD map를 제공할 수 있다.
또 다른 일 예로, 복수 개의 스마트폴은 자율주행 관련 정보를 더 센싱하고, 센싱된 자율주행 관련 정보를 제어서버로 전송할 수 있다. 이때, 제어서버는 전송된 자율주행 관련 정보에 처리하여 자율주행 정보를 생성하여 복수 개의 자율주행 차량으로 제공할 수 있다. 여기서, 자율주행 정보는 HD map에 기초하여 제공될 수 있다.또 다른 일 예로, 복수 개의 자율주행 차량은 자율주행 시스템과 인증을 수행할 수 있다. 여기서, 자율주행 시스템은 복수 개의 자율주행 차량 중 인증이 완료된 차량에게만 HD map을 전송할 수 있다. 즉, 자율주행 시스템은 인증된 자율주행 차량에 대해서만 서비스를 제공할 수 있다. 여기서, 구체적인 일 예로, 자율주행 차량은 턴온되면 자율주행 시스템과 인증을 수행할 수 있다. 즉, 자율주행 차량의 시동이 켜지거나 주행을 위한 트리거링 동작이 수행되는 경우에 자율주행 시스템과 인증을 수행할 수 있다. 이때, 자율주행 차량이 턴-온되면 자율주행 차량은 자율주행 시스템으로 자율주행 차량의 식별 정보를 포함하는 인증 요청 메시지를 전송할 수 있다. 자율주행 시스템은 인증 요청 메시지에 포함된 자율주행 차량의 식별 정보에 기초하여 인증을 수행할 수 있다. 이때, 인증이 완료되면 자율주행 시스템은 HD map을 포함하는 인증 완료 메시지를 자율주행 차량으로 전송할 수 있으며, 이를 통해 자율주행 차량은 자율주행 시스템으로부터 서비스를 제공받을 수 있다.
이상에서 설명한 실시예들은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 명세서는 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 명세서의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 명세서의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 포함하도록 정해져야 할 것이다.

Claims (10)

  1. 자율주행 정보를 제공하는 자율주행 시스템에 있어서,
    라이다 센서를 포함하고, 고정된 지리적 위치에 설치된 복수 개의 스마트폴; 및
    상기 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하고, 상기 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하여 복수 개의 자율주행 차량으로 상기 HD map을 제공하는 제어서버;를 포함하고,
    상기 복수 개의 스마트폴은 상기 라이더 센서 및 적어도 어느 하나 이상의 센서를 포함하고,
    상기 복수 개의 스마트폴 중 제 1 스마트폴은 상기 라이더 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 1 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되,
    상기 제 1 영역은 라이더 센서 및 상기 적어도 어느 하나 이상의 센서의 센싱 각도 및 빔스티어링에 기초하여 상이하게 설정되고,
    상기 제 1 영역은 상기 제 1 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도에 기초하여 상이하게 설정되고,
    상기 복수 개의 스마트폴 중 제 2 스마트폴은 상기 라이더 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 2 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되,
    상기 제 2영역은 상기 제 2 스마트폴의 위치 정보, 상기 교통상황 정보, 상기 도로 상태 정보, 상기 오브젝트 인지/판단 정보, 상기 HD Map 정보 및 상기 혼잡도에 기초하여 상이하게 설정되고,
    상기 제어서버는 상기 제 1 스마트폴로부터 획득한 고정밀 지도 관련 정보 및 상기 제 2 스마트폴로부터 획득한 고정밀 지도 관련 정보에 기초하여 상기 HD map을 제작하되,
    상기 제 1 영역 내의 오브젝트들은 고정 오브젝트 및 이동 오브젝트로 구별되고,
    상기 제 1 스마트폴이 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하는 경우, 고정 오브젝브 정보 및 이동 오브젝트 정보는 구별하여 전송되고,
    상기 이동 오브젝트에 대한 정보는 오브젝트 자세 정보를 포함하고,
    상기 자율주행 차량은 라이다 센서를 포함하고, 자체적으로 주변 영역에 대한 HD map을 생성하며,
    상기 제어서버는 자율주행 차량으로부터 상기 자율주행 차량에서 생성된 HD map을 수신하고,
    상기 제어서버는 자율주행 차량에서 생성된 HD map과 제어서버가 제작한 HD map을 비교하여 두 HD map의 유사도를 산출하고, 산출된 유사도를 자율주행 차량에 제공하며, 상기 자율주행 차량의 승인하에 상기 제어서버가 제작한 HD map을 상기 자율주행 차량에 제공하며,
    상기 제어서버가 센싱할 수 없는 사각지역을 상기 자율주행 차량이 주행하는 경우, 상기 사각지역에 대한 정보를 상기 자율주행 차량에게 요청하는, 자율주행 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 적어도 어느 하나의 센서는 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서 및 습도센서 중 적어도 어느 하나 이상을 포함하고,
    상기 적어도 어느 하나의 센서에 기초하여 상기 제 1 영역 내의 오브젝트들의 이미지 정보, 오브젝트의 윤곽 정보, 온도 정보, 열화성 정보 및 밝기 정보 중 적어도 하나 이상을 센싱하고,
    센싱된 정보에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하는, 자율주행 시스템.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 이동 오브젝트에 대한 정보는 오브젝트의 종류 정보, 오브젝트의 이동방향 정보, 오브젝트의 기존속도 정보 중 적어도 어느 하나 이상을 더 포함하는, 자율주행 시스템.
  8. 제 7 항에 있어서,
    상기 이동 오브젝트 정보는 실시간으로 업데이트되되,
    상기 이동 오브젝트 정보는 상기 고정 오브젝트 정보와 비교하여 업데이트되는, 자율주행 시스템.
  9. 제 1 항에 있어서,
    스마트폴은 가로등 형태, 지하출 출입구 형태, 차량 펜스 형태, 건물 형태 및 버스 정거장 형태 중 적어도 어느 하나에 기초하여 설정되는, 자율주행 시스템.
  10. 제 1 항에 있어서,
    상기 제어서버는 상기 복수 개의 스마트폴로부터 복수 개의 상기 고정밀 지도 관련 정보를 획득하고,
    상기 획득한 고정밀 지도 관련 정보를 이용하여 빅데이터를 구축하고, 상기 구축된 빅데이터에 대한 기계학습을 통해 상기 HD map을 업데이트하는, 자율주행 시스템.
KR1020200164521A 2020-11-30 2020-11-30 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템 KR102256541B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200164521A KR102256541B1 (ko) 2020-11-30 2020-11-30 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템
KR1020210063344A KR102414873B1 (ko) 2020-11-30 2021-05-17 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200164521A KR102256541B1 (ko) 2020-11-30 2020-11-30 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210063344A Division KR102414873B1 (ko) 2020-11-30 2021-05-17 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템

Publications (1)

Publication Number Publication Date
KR102256541B1 true KR102256541B1 (ko) 2021-05-25

Family

ID=76145304

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200164521A KR102256541B1 (ko) 2020-11-30 2020-11-30 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템
KR1020210063344A KR102414873B1 (ko) 2020-11-30 2021-05-17 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210063344A KR102414873B1 (ko) 2020-11-30 2021-05-17 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템

Country Status (1)

Country Link
KR (2) KR102256541B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102330985B1 (ko) * 2021-06-02 2021-12-01 주식회사 엠데이터싱크 주차장에서의 주차 안내 방법
KR102425980B1 (ko) * 2021-07-05 2022-07-29 한국전자기술연구원 서비스 맞춤형 v2x 지원 시스템 및 방법
KR20230004178A (ko) 2021-06-30 2023-01-06 김배훈 자율 주행용 차량의 카메라 백업 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150047215A (ko) * 2013-10-24 2015-05-04 현대모비스 주식회사 회전형 라이다 센서를 이용한 타겟 차량 감지 장치 및 회전형 라이다 센서
KR20190033975A (ko) * 2017-09-22 2019-04-01 엘지전자 주식회사 차량의 운행 시스템을 제어하는 방법
KR20190099521A (ko) * 2017-01-05 2019-08-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. Hd 지도의 생성 및 사용
KR20200127218A (ko) 2015-02-10 2020-11-10 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150047215A (ko) * 2013-10-24 2015-05-04 현대모비스 주식회사 회전형 라이다 센서를 이용한 타겟 차량 감지 장치 및 회전형 라이다 센서
KR20200127218A (ko) 2015-02-10 2020-11-10 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
KR20190099521A (ko) * 2017-01-05 2019-08-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. Hd 지도의 생성 및 사용
KR20190033975A (ko) * 2017-09-22 2019-04-01 엘지전자 주식회사 차량의 운행 시스템을 제어하는 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102330985B1 (ko) * 2021-06-02 2021-12-01 주식회사 엠데이터싱크 주차장에서의 주차 안내 방법
KR20230004178A (ko) 2021-06-30 2023-01-06 김배훈 자율 주행용 차량의 카메라 백업 시스템 및 방법
KR102425980B1 (ko) * 2021-07-05 2022-07-29 한국전자기술연구원 서비스 맞춤형 v2x 지원 시스템 및 방법

Also Published As

Publication number Publication date
KR20220076268A (ko) 2022-06-08
KR102414873B1 (ko) 2022-06-29

Similar Documents

Publication Publication Date Title
JP6602352B2 (ja) 自律走行車用の計画フィードバックに基づく決定改善システム
KR102256541B1 (ko) 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템
JP6506805B2 (ja) 自律走行車の決定の評価フレームワーク
JP6975512B2 (ja) 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
JP6892464B2 (ja) 自動運転車両に用いられる検知支援
CN109429518B (zh) 基于地图图像的自动驾驶交通预测
JP7285756B2 (ja) センサデータに基づいた自動運転車両の地図データの更新
KR102223346B1 (ko) 자율 주행 차량을 위한 보행자 확률 예측 시스템
KR102279078B1 (ko) 자율 주행 차량의 v2x 통신 기반의 차량 차로 시스템
CN114829224A (zh) 用于感知、预测或规划的地理定位模型
CN108089571A (zh) 用于预测无人驾驶车辆的车辆交通行为以做出驾驶决策的方法和系统
US11782439B2 (en) Determining routes for autonomous vehicles
CN108068825A (zh) 用于无人驾驶车辆(adv)的视觉通信系统
JP2019536175A (ja) 自律走行車両のソリューションパスオーバーレイインタフェース
JP7181354B2 (ja) 接続されたデータ分析プラットフォームを用いた車両経路指定
CA3099840A1 (en) System and method for using v2x and sensor data
JPWO2019064490A1 (ja) 車両制御装置、車両制御方法、およびプログラム
US20200211379A1 (en) Roundabout assist
US11610479B1 (en) Systems and methods for intelligent traffic control
US20210356965A1 (en) Vehicle routing using third party vehicle capabilities
KR20200083941A (ko) 자율 주행 차량 내 비 회피 계획 시스템의 장애물 필터링 방법
US20230182775A1 (en) Method, apparatus, and system for determining an autonomous vehicle operational strategy when detecting wrong way driving
WO2019127261A1 (zh) 一种智能轮椅自动驾驶方法、系统及计算机可读介质
CN113196010A (zh) 从长期传感器数据学习的交叉路口地图
US11967230B2 (en) System and method for using V2X and sensor data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant