KR20240049713A - 자율주행용 데이터 구축 시스템 및 방법 - Google Patents

자율주행용 데이터 구축 시스템 및 방법 Download PDF

Info

Publication number
KR20240049713A
KR20240049713A KR1020220128657A KR20220128657A KR20240049713A KR 20240049713 A KR20240049713 A KR 20240049713A KR 1020220128657 A KR1020220128657 A KR 1020220128657A KR 20220128657 A KR20220128657 A KR 20220128657A KR 20240049713 A KR20240049713 A KR 20240049713A
Authority
KR
South Korea
Prior art keywords
information
vehicle
data
surrounding
location
Prior art date
Application number
KR1020220128657A
Other languages
English (en)
Inventor
김경표
정길조
조재윤
Original Assignee
주식회사 에이스웍스코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이스웍스코리아 filed Critical 주식회사 에이스웍스코리아
Priority to KR1020220128657A priority Critical patent/KR20240049713A/ko
Publication of KR20240049713A publication Critical patent/KR20240049713A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량에 장착된 센서를 이용하여 전후방의 데이터를 획득하고 획득한 데이터를 기반으로 지능형 교통 체계 정보를 활용하여 자동 라벨링을 수행하는, 자율주행용 데이터 구축 시스템 및 방법에 관한 것으로, 이의 시스템은 차량에 설치되어 주행중인 차량의 주변 환경을 측정하는 주변감지센서, 주행중인 차량의 위치정보를 취득하는 GNSS 측위센서, 지능형 교통시스템(Intelligent Transport System; ITS) 서버로부터 차량의 위치정보에 대응되는 ITS 정보를 수신하는 ITS 수신부, 주변감지센서와 GNSS 측위센서, 및 ITS 수신부로부터 차량의 주변 센싱 정보, 위치정보, ITS정보를 수집하고, 수집한 주변 센싱 정보를 딥러닝 모델에 적용하여 주변 객체를 인식하는 동시에, 인식한 객체에 대응되는 라벨링 이름을 위치정보 및 ITS 정보를 기반으로 추출하여 라벨링하는 데이터 서버를 포함한다.

Description

자율주행용 데이터 구축 시스템 및 방법{DATA BULIDING SYSTEM AND METHOD FOR AUTONOMOUS DRIVING VEHICLE}
본 발명은 자율주행을 위한 영상 처리에 관한 것으로, 더욱 상세하게는 차량에 장착된 센서를 이용하여 전후방의 데이터를 획득하고 획득한 데이터를 기반으로 지능형 교통 체계 정보를 활용하여 자동 라벨링을 수행하는, 자율주행용 데이터 구축 시스템 및 방법에 관한 것이다.
일반적으로 자율 주행 시스템은 도로맵 정보를 바탕으로 GPS 위치정보 및 각종 센서에서 취득한 신호를 이용하여 도로 상의 출발지에서 목적지까지 자동차가 자동으로 제어하면서 주행한다.
이러한 자율 주행 시스템은 주변 환경에서 각종 객체를 실시간으로 인식하여 처리하는 기술이 반드시 필요하다. 즉, 여러 센서를 사용하여 환경에 구애받지 않고 리던던시(redundancy)가 확보된 강인한 객체 탐지가 필요하다.
이를 위해, 종래에는 딥러닝을 이용하여 카메라, 레이더, 라이다 등의 센서 정보로부터 객체를 탐지하는 방법을 적용하고 있으나, 정확도 향상을 위해서는 많은 종류의 라벨링 데이터가 필요하고, 이를 구축하기 위해 많은 수작업이 필요한 문제점이 있다.
대한민국 공개특허 10-2018-0097966호(2018. 09. 03 공개)
본 발명은 상기의 문제점을 해결하기 위한 것으로서, 차량에 장착된 센서를 이용하여 전후방의 데이터를 획득하고 획득한 데이터를 기반으로 지능형 교통 체계 정보를 활용하여 자동 라벨링을 수행하는, 자율주행용 데이터 구축 시스템 및 방법를 제공하고자 한다.
또한, 본 발명의 다른 목적은, 차량의 장착된 센서로서 카메라 뿐만 아니라 라이다 센서 및 레이다 센서 등을 이용하여 카메라를 통해 식별하지 못했던 단점을 보완하여 객체를 정확하게 인식하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 의한 자율주행용 데이터 구축 시스템은, 차량에 설치되어 주행중인 차량의 주변 환경을 측정하는 주변감지센서; 상기 차량에 탑재되고, GNSS(Global Navigation Satellite System; 위성 항법 시스템)으로부터 위치 및 타이밍 데이터를 수신하여 상기 주행중인 차량의 위치정보를 취득하는 GNSS 측위센서; 지능형 교통시스템(Intelligent Transport System; ITS) 서버로부터 상기 차량의 위치정보에 대응되는 ITS 정보를 수신하는 ITS 수신부; 상기 주변감지센서와 GNSS 측위센서, 및 상기 ITS수신부로부터 차량의 주변 센싱 정보, 위치정보, ITS정보를 수집하고, 수집한 주변 센싱 정보를 딥러닝 모델에 적용하여 주변 객체를 인식하는 동시에, 인식한 객체에 대응되는 라벨링 이름을 상기 위치정보 및 상기 ITS 정보를 기반으로 추출하여 라벨링하는 데이터 서버;를 포함한다.
상기 주변감지센서는, 차량의 주변을 촬영하는 카메라 모듈;과, 레이저를 이용하여 차량의 주변에 존재하는 객체 및 객체와의 거리를 측정하고 이로부터 포인트 클라우드를 획득하는 라이다(Lidar) 센서; 전파를 이용하여 객체와의 거리, 방향, 각도, 속도를 감지하고 포인트 클라우드를 획득하는 레이다(Radar) 센서; 중 적어도 하나 이상을 포함할 수 있다.
상기 ITS 수신부는, 상기 차량 또는 데이터 서버 중 어느 하나에 구축되며, 상기 ITS 정보는 차량의 위치한 영역에 대응되는 교통정보는 물론, 건널목 위치, 교통신호등 위치, 버스정류장 위치, 또는 건물위치 및 건물이름을 포함한다.
상기 데이터 서버는, 상기 수집한 주변 센싱 정보와 상기 ITS정보를 매칭하기 위해, 상기 위치정보 및 상기 ITS정보의 좌표시스템을 센서 기준 좌표시스템으로 변환하고, 변환된 센서 기준 좌표시스템을 상기 주변 센싱 정보와 결합하는 구성이 포함된다.
또한, 상기 데이터 서버는, 상기 ITS 정보를 기반으로 라벨링한 데이터를 저장장치에 저장하고, 자율주행 알고리즘을 위한 학습 및 검증 데이터로 활용하도록 제공한다.
한편, 본 발명의 실시예에 의한 자율주행용 데이터 구축 방법은, 자율주행용 데이터를 라벨링하는 방법으로서, 차량 내 주변감지센서를 통해 주행중인 차량의 주변 환경을 측정하는 단계; 상기 차량에 설치된 GNSS(Global Navigation Satellite System) 측위센서를 통해 상기 주행중인 차량의 위치정보를 취득하는 단계; ITS 수신부가 상기 차량의 위치정보에 대응되는 ITS 정보를 취득하는 단계; 데이터 서버가 상기 주변감지센서와 GNSS 측위센서, 및 상기 ITS수신부로부터 차량의 주변 센싱 정보, 위치정보, ITS정보를 수집하는 단계; 상기 데이터 서버가 수집한 주변 센싱 정보를 딥러닝 모델에 적용하여 주변 객체를 인식하는 단계; 상기 데이터 서버가 인식한 객체에 대응되는 라벨링 이름을 상기 위치정보 및 상기 ITS 정보를 기반으로 추출하여 라벨링하는 단계;를 포함한다.
이러한 본 발명의 실시예에 따르면, 차량의 전후방을 포함한 주변의 모든 객체들을 인식하고 인식된 객체에 대응하는 라벨링 이름을 ITS정보에 기반으로 취득함으로써, 기존에 수작업으로 수행했던 라벨링 데이터 생성을 자동화할 수 있는 현저한 효과가 있다.
또한, 본 발명의 실시예에 따르면, 라벨링하는 객체의 세부적인 종류까지 지능형 교통 시스템에서 제공하는 ITS 정보를 통해 마킹할 수 있으므로, 높은 정밀도의 라벨링 정보를 얻을 수 있는 효과가 있다. 예를 들어, 반대방향으로 오는 차량의 종류까지 라벨링이 가능한 효과가 있다.
또한, 본 발명의 실시예에 따르면, 카메라를 통해 식별할 수 없었던 객체의 깊이 또는 객체간 거리를 라이다 센서 또는 레이다 센서를 통해 인지가 가능하게 됨으로써 보다 정확한 라벨링 데이터를 구축할 수 있다.
도 1은 본 발명의 실시예에 따른 자율주행용 데이터 구축 시스템의 네트워크 관계를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 시스템에서 주변감지센서의 구성을 구체적으로 나타낸 도면이다.
도 3 및 도 4는 본 발명의 실시예에 따른 ITS정보 및 포인트 클라우드 정보를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 시스템에서 데이터 서버의 구성을 구체적으로 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 시스템을 통해 라벨링된 학습데이터를 보여주는 일 예이다.
도 7은 본 발명의 실시예에 따른 자율주행용 데이터 구축 방법을 설명하기 위한 순서도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 자율주행용 데이터 구축 시스템의 네트워크 관계를 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 시스템에서 주변감지센서의 구성을 구체적으로 나타낸 도면이다.
먼저 도 1을 참조하면, 본 발명의 실시예에 따른 자율주행용 데이터 구축 시스템은, 크게 각종 센서들이 장착된 차량(100)과, GNSS(Global Navigation Satellite System; 위성 항법 시스템)(200)과, ITS(Intelligent Transport System) 서버(300; 지능형 교통체제 시스템 서버), 데이터 서버(400)를 포함한다.
GNSS(200)는 인공위성을 이용하여 지상물의 위치, 고도, 속도 등에 관한 정보를 제공하는 글로벌 위성 항법시스템이다.
ITS 서버(300)는 기존의 교통체계를 정보통신, 전자, 제어 컴퓨터 등의 첨단기술과 접목시켜, 교통의 이동성, 안정성, 효율성 및 교통 환경을 혁신적으로 개선한 지능형 교통체계 시스템이 포함되어 있다. ITS 서버(300)는 단순히 차량간의 정보, 교통상황에 관한 정보를 제공할 뿐만 아니라, 차량이 위치한 일정 영역에 대응되는 도로 주변의 환경 및 도로에 있는 건물정보, 교통신호 정보 등 다양하게 제공할 수 있다.
예를 들어, 도 3에서 보여주는 예시처럼, 강남역 사거리에 있는 건널목 위치, 교통신호등 위치, 버스정류장 위치, 또는 건물위치 및 건물이름(XX빌딩, 강남타워, GS주유소 등) 등에 관한 정보까지 포함하여 제공할 수 있다.
차량(100)은 시험용차량, 일반차량, 자율주행차량 등이 될 수 있으며, 차량(100)에는 GNSS 측위센서(110), ITS 수신부(120), 주변감지센서(130), 데이터 전송부(140)를 포함한다.
GNSS 측위센서(110)는 차량에 탑재되고, GNSS(200)로부터 위치 및 타이밍 데이터를 수신하여 주행중인 차량의 위치정보를 취득한다.
ITS 수신부(120)는 ITS 서버(300)로부터 차량의 위치정보에 대응되는 ITS 정보를 수신한다. ITS 수신부(120)는 도 1과 같이 차량(100)에 탑재될 수 있지만, 데이터 서버(400)에 구현될 수도 있다. 후자의 경우, 데이터 서버(400)에서 직접 차량의 위치에 대응되는 ITS 정보를 수신할 수 있으므로 차량(100)이 전송해야 할 데이터의 전송 부하를 줄일 수 있다.
주변감지센서(130)는 차량의 전후 또는 좌우에 설치되어 주행중인 차량의 주변 환경을 측정한다. 즉, 차량 주변의 객체를 인식하기 위한 센싱수단이라 할 수 있다.
이러한 주변감지센서(130)는 도 2에 도시한 바와 같이, 차량의 전후방을 포함한 주변을 촬영할 수 있는 카메라 모듈(131)과, 레이저를 이용하여 차량의 주변에 존재하는 객체 및 객체와의 거리를 측정할 수 있는 라이다(Lidar) 센서(132), 전파를 이용하여 객체와의 거리, 방향, 각도, 속도를 감지할 수 있는 레이다(Radar) 센서(133) 중 적어도 하나 이상을 포함할 수 있다.
이때, 카메라 모듈(131), 라이다 센서(132) 및 레이다 센서(133)는 정밀한 객체 인식을 위해 차량의 전, 후, 좌, 우 사방에 모두 설치되는 것이 좋지만, 필요에 따라 설계 변경할 수 있음은 물론이다. 예를 들어, 주변감지센서(130)로 카메라 모듈(131)과 라이다 센서(132)를 동시에 적용하는 경우, 카메라 모듈(131)은 전방, 후방에만 설치하고, 라이다 센서(132)는 전방, 우측에 설치하도록 설계 변경할 수 있다.
라이다 센서(132) 또는 레이다 센서(133)는 차량 주변의 객체를 감지하여 객체에 대한 포인트 클라우드(point cloud)를 획득한다.
구체적으로, 라이다 센서(132)는 차량의 다양한 위치에 설치될 수 있으며 차량의 전/후방을 센싱하여 객체 등을 감지한다. 라이다 센서(132)는 레이더에 비해 작은 객체도 감지할 수 있으며, 정확한 단색 3D이미지를 제공할 수 있다. 형태 인식이 가능하며 정밀도가 높다.
레이다 센서(133)는 라이다 센서(132)에 비해 작은 객체의 식별이 어렵지만, 장거리에 있는 객체와의 거리 측정이 가능하다. 또한, 레이다 센서(133)는 날씨에 영향을 많이 받지 않으며, 가려져 있는 객체를 인지할 수 있는 투과 기능도 있다.
이 외, 주변감지센서(130)는 3D바운딩 박스를 생성하는데 필요한 포인트 데이터를 획득할 수 있는 것이라면 다양한 센서를 적용할 수 있을 것이다.
차량 주변의 객체들은 도로 마크, 도로 바운더리(Boundary), 차선, 자동차, 보행자, 자전거, 오토바이, 미등록 동적 물체, 미등록 정적 물체, 신호등, 표시판, 구조물, 도로 위험요소, 도로 표면 거칠기, 자동차 라이트, 도로 표면, 및 주행 가능 영역 중 적어도 하나가 포함될 수 있다. 나아가, 자율주행 차량의 자율주행에 필요한 인식 대상이 되는 것이라면 다양한 객체가 더 포함될 수 있다.
다시 도 1을 참조하여 본 발명의 데이터 전송부(140)를 살펴보면, 이는 통신망을 통해 차량(100)과 데이터 서버(400)를 연결해주는 통신 모듈이다.
데이터 전송부(140)는 사전에 데이터 서버(400)와 설정된 통신 규약으로, GNSS 측위센서(110)를 통해 취득한 차량의 위치정보와, ITS 수신부(120)를 통해 취득한 ITS정보, 주변감지센서(130)를 통해 취득한 주변 센싱 정보를 데이터 서버(400)로 전송한다.
그러면, 데이터 서버(400)는 데이터 전송부(140)를 통해 제공받은 각종 정보를 활용하여 자율주행에 필요한 데이터를 구축하는데, 주변 센싱 정보에 ITS 정보를 결합하여 라벨링 데이터를 생성한다.
즉, 데이터 서버(400)는 주변 센싱 정보를 딥러닝 모델에 적용하여 주변 객체를 인식하는 동시에, 인식한 객체에 대응되는 라벨링 이름을 위치정보 및 ITS 정보를 기반으로 추출하여 자동 라벨링 작업을 수행한다. 도 5에는 이를 수행하기 위한 구체적인 구성에 대하여 도시되어 있다.
도 5를 참조하면, 데이터 서버(400)는 데이터 수집부(410), 학습데이터 생성부(420), 라벨링 정보 추출부(430), 라벨링부(440), 저장장치(450)를 포함하여 구현될 수 있다.
데이터 수집부(410)는 차량의 데이터 전송부(도 1의 140)를 통해 주변감지센서와 GNSS 측위센서, 및 상기 ITS수신부로부터 차량의 주변 센싱 정보, 위치정보, ITS정보를 수집한다. 차량의 주변 센싱 정보는 이해의 편의를 돕기 위해 카메라 모듈을 통해 촬영된 이미지정보, 라이다 센서 또는 레이다 센서를 통해 취득한 포인트 클라우드 정보로 구분하였다.
라벨링 정보 추출부(430)는 ITS 정보 및 GNSS 정보를 이용하여 차량이 위치한 일정 영역에 대응되는 ITS정보에서 라벨링에 필요한 정보를 추출한다.
학습데이터 생성부(420)는 딥러닝 모델을 이용하여 이미지 정보 또는 포인트 클라우드 정보로부터 주변 객체를 인식한다.
포인트 클라우드는 도 4에서 예시한 것처럼 3차원 공간 상의 x, y, z좌표 정보를 포함하고 추가적으로 깊이(intensity) 정보가 포함된다. 라이다로 취득한 3차원 포인트 클라우드에는 가까운 객체가 멀리 있는 객체에 비해 조밀하게 샘플링된다. 또한, 멀리 있는 객체일수록 반사되어 돌아오는 신호의 강도가 약해지고 큰 노이즈를 포함하기 쉬운 특성이 있는데, 이러한 특성(반사도의 세기 정보)을 이용하여 깊이 정보를 알 수 있다. 도 4에서 표시된 색상은 깊이 정보가 다른 것을 표현한 것이다.
딥러닝 모델을 이용하여 객체를 인식하는 방법은, 카메라 모듈을 통해 촬영된 이미지에서 객체라고 인식되는 영역에 바운딩박스를 생성하고 생성된 바운딩박스의 크기, 박스 내 영상의 픽셀간 밝기값 등을 이용하여 객체를 인식한다.
또한, 본 발명의 실시예에 따른 학습데이터 생성부(420)는 라벨링 정보 추출부(430)에서 추출된 라벨링 정보를 제공받고, 인식된 객체의 위치에 대응되는 ITS정보를 라벨링 이름으로 매칭시킨다. 이때, 학습데이터 생성부(420)는 위치정보 및 ITS정보의 좌표시스템을 라이다(또는 레이다) 센서 기준 좌표시스템으로 변환하고, 변환된 라이다(또는 레이다) 센서 기준 좌표시스템을 포인트 클라우드 정보와 결합하는 구성이 포함되어야 한다.
라벨링부(440)는 학습데이터 생성부(430)에서 매칭된 정보에 근거하여 인식된 객체에 ITS정보를 라벨링한다. 라벨링된 데이터는 저장 장치(450)에 저장되고, 자율주행 알고리즘을 위한 학습 및 검증데이터로 활용될 수 있다. 예컨대, 도 6에 라벨링된 학습데이터를 도시하고 있다.
이처럼, 본 발명의 실시예에 따른 데이터 서버(400)는 주변감지센서와 GNSS 측위센서, 및 ITS수신부로부터 차량의 주변을 측정한 이미지정보, 포인트 클라우드 정보, 위치정보, ITS정보를 수집하고, 수집한 이미지정보 또는 포인트 클라우드 정보를 딥러닝 모델에 적용하여 주변 객체를 인식하는 동시에, 인식한 객체에 대응되는 라벨링 이름을 위치정보 및 ITS 정보를 기반으로 추출하여 자동 라벨링한다.
이러한 일련의 과정을 도 7에 도시하였다.
도 7은 본 발명의 실시예에 따른 자율주행용 데이터 구축 방법을 설명하기 위한 순서도이다.
처음 단계로, 차량 내 주변감지센서를 통해 주행중인 차량의 주변 환경을 측정한다(S100).
다음, 차량에 설치된 GNSS(Global Navigation Satellite System) 측위센서를 통해 주행중인 차량의 현 위치정보를 취득한다(S110).
다음, ITS 수신부가 차량의 현 위치정보에 대응되는 ITS 정보를 취득한다(S120).
다음, 차량 내 데이터 전송부가 주변감지센서를 통해 취득한 주변 센싱 정보와, GNSS 측위센서를 통해 취득한 차량의 위치정보, ITS 수신부를 통해 취득한 ITS 정보를 데이터 서버로 전송한다(S130).
다음, 데이터 서버가, 주변 센싱 정보, 위치정보, ITS정보를 수집하고, 수집된 주변 센싱 정보를 딥러닝 모델에 적용하여 주변 객체를 인식한다(S200).
다음, 데이터 서버가, 인식한 객체에 대응되는 라벨링 이름을 위치정보 및 ITS 정보를 기반으로 추출하고 매칭시킨다(S210).
다음, 데이터 서버가, 매칭된 정보를 근거로 인식된 객체에 ITS정보를 라벨링한다(S220).
마지막으로, 데이터 서버가, 라벨링된 데이터를 학습데이터로 저장장치에 저장하고, 추후 자율주행을 위한 학습 및 검증데이터로 활용하도록 제공한다(S230).
이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량 110: GNSS 측위센서
120: ITS 수신부 130: 주변감지센서
140: 데이터 전송부 200: GNSS
300: ITS 서버 400: 데이터 서버
131: 카메라 모듈 132: Lidar 센서
133: Radar 센서 410: 데이터 수집부
420: 학습데이터 생성부 430: 라벨링 정보 추출부
440: 라벨링부 450: 저장장치

Claims (6)

  1. 차량에 설치되어 주행중인 차량의 주변 환경을 측정하는 주변감지센서;
    상기 차량에 탑재되고, GNSS(Global Navigation Satellite System; 위성 항법 시스템)으로부터 위치 및 타이밍 데이터를 수신하여 상기 주행중인 차량의 위치정보를 취득하는 GNSS 측위센서;
    지능형 교통시스템(Intelligent Transport System; ITS) 서버로부터 상기 차량의 위치정보에 대응되는 ITS 정보를 수신하는 ITS 수신부;
    상기 주변감지센서와 GNSS 측위센서, 및 상기 ITS수신부로부터 차량의 주변 센싱 정보, 위치정보, ITS정보를 수집하고, 수집한 주변 센싱 정보를 딥러닝 모델에 적용하여 주변 객체를 인식하는 동시에, 인식한 객체에 대응되는 라벨링 이름을 상기 위치정보 및 상기 ITS 정보를 기반으로 추출하여 라벨링하는 데이터 서버;
    를 포함하는 자율주행용 데이터 구축 시스템.
  2. 제1항에 있어서,
    상기 주변감지센서는,
    차량의 주변을 촬영하는 카메라 모듈;과,
    레이저를 이용하여 차량의 주변에 존재하는 객체 및 객체와의 거리를 측정하고 이로부터 포인트 클라우드를 획득하는 라이다(Lidar) 센서;
    전파를 이용하여 객체와의 거리, 방향, 각도, 속도를 감지하고 포인트 클라우드를 획득하는 레이다(Radar) 센서;
    중 적어도 하나 이상을 포함하는 것을 특징으로 하는 자율주행용 데이터 구축 시스템.
  3. 제1항에 있어서,
    상기 ITS 수신부는, 상기 차량 또는 데이터 서버 중 어느 하나에 구축되며,
    상기 ITS정보는 차량의 위치한 영역에 대응되는 교통정보는 물론, 건널목 위치, 교통신호등 위치, 버스정류장 위치, 또는 건물위치 및 건물이름을 포함하는 것을 특징으로 하는 자율주행용 데이터 구축 시스템.
  4. 제1항에 있어서,
    상기 데이터 서버는
    상기 수집한 주변 센싱 정보와 상기 ITS정보를 매칭하기 위해,
    상기 위치정보 및 상기 ITS정보의 좌표시스템을 센서 기준 좌표시스템으로 변환하고, 변환된 센서 기준 좌표시스템을 상기 주변 센싱 정보와 결합하는 구성이 포함되는 것을 특징으로 하는 자율주행용 데이터 구축 시스템.
  5. 제1항에 있어서,
    상기 데이터 서버는,
    상기 ITS 정보를 기반으로 라벨링한 데이터를 저장장치에 저장하고, 자율주행 알고리즘을 위한 학습 및 검증 데이터로 활용하도록 제공하는 것을 특징으로 하는 자율주행용 데이터 구축 시스템.
  6. 자율주행용 데이터를 라벨링하는 방법으로서,
    상기 차량 내 주변감지센서를 통해 주행중인 차량의 주변 환경을 측정하는 단계;
    상기 차량에 설치된 GNSS(Global Navigation Satellite System) 측위센서를 통해 상기 주행중인 차량의 위치정보를 취득하는 단계;
    ITS 수신부가 상기 차량의 위치정보에 대응되는 ITS 정보를 취득하는 단계;
    데이터 서버가 상기 주변감지센서와 GNSS 측위센서, 및 상기 ITS수신부로부터 차량의 주변 센싱 정보, 위치정보, ITS정보를 수집하는 단계;
    상기 데이터 서버가 수집한 주변 센싱 정보를 딥러닝 모델에 적용하여 주변 객체를 인식하는 단계;
    상기 데이터 서버가 인식한 객체에 대응되는 라벨링 이름을 상기 위치정보 및 상기 ITS 정보를 기반으로 추출하여 라벨링하는 단계;
    를 포함하는 자율주행용 데이터 구축 방법.
KR1020220128657A 2022-10-07 2022-10-07 자율주행용 데이터 구축 시스템 및 방법 KR20240049713A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220128657A KR20240049713A (ko) 2022-10-07 2022-10-07 자율주행용 데이터 구축 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220128657A KR20240049713A (ko) 2022-10-07 2022-10-07 자율주행용 데이터 구축 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240049713A true KR20240049713A (ko) 2024-04-17

Family

ID=90876320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220128657A KR20240049713A (ko) 2022-10-07 2022-10-07 자율주행용 데이터 구축 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20240049713A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097966A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097966A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치

Similar Documents

Publication Publication Date Title
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
JP2020500290A (ja) 位置特定基準データを生成及び使用する方法及びシステム
US20200341150A1 (en) Systems and methods for constructing a high-definition map based on landmarks
KR20180094493A (ko) 실내지도 생성시스템 및 생성방법
CN112379674B (zh) 一种自动驾驶设备及系统
CN113885062A (zh) 基于v2x的数据采集融合设备、方法和系统
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
CN110567465B (zh) 使用精度规范定位车辆的系统和方法
US20210180958A1 (en) Graphic information positioning system for recognizing roadside features and method using the same
JPWO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2018116014A (ja) 自車位置推定装置、制御方法、プログラム及び記憶媒体
KR20200071792A (ko) 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템
US11485373B2 (en) Method for a position determination of a vehicle, control unit, and vehicle
US11821752B2 (en) Method for localizing and enhancing a digital map by a motor vehicle; localization device
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
KR102105590B1 (ko) 저가 상용 gnss의 측위 정확도 개선 시스템 및 방법
KR20240049713A (ko) 자율주행용 데이터 구축 시스템 및 방법
CN114503044A (zh) 用于在3d点云中自动标记对象的系统和方法
CN111964685A (zh) 用于创建用于车辆的定位地图的方法和系统
CN113390422B (zh) 汽车的定位方法、装置及计算机存储介质
CN115825901B (zh) 一种车载传感器感知性能评测真值系统
US20240144612A1 (en) Vehicle ar display device and ar service platform
RU2784310C1 (ru) Способ картографирования местности для автономных транспортных средств
WO2022071612A1 (ja) 情報処理方法、プログラム、及び情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal