KR20190064220A - Traffic light location storage apparatus and method - Google Patents

Traffic light location storage apparatus and method Download PDF

Info

Publication number
KR20190064220A
KR20190064220A KR1020170163621A KR20170163621A KR20190064220A KR 20190064220 A KR20190064220 A KR 20190064220A KR 1020170163621 A KR1020170163621 A KR 1020170163621A KR 20170163621 A KR20170163621 A KR 20170163621A KR 20190064220 A KR20190064220 A KR 20190064220A
Authority
KR
South Korea
Prior art keywords
detected
data
traffic light
detecting
las
Prior art date
Application number
KR1020170163621A
Other languages
Korean (ko)
Other versions
KR102464586B1 (en
Inventor
장윤석
원대연
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020170163621A priority Critical patent/KR102464586B1/en
Publication of KR20190064220A publication Critical patent/KR20190064220A/en
Application granted granted Critical
Publication of KR102464586B1 publication Critical patent/KR102464586B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G06K9/00825—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Disclosed are an apparatus for storing a location of a traffic light and a method thereof. The apparatus for storing a location of a traffic light comprises: a mobile mapping system detecting mobile mapping system (MMS) data measuring a road and surroundings while traveling on an actual road; a recognition unit using image data from the MMS data detected from the mobile mapping system to detect a traffic light and using LAS data to detect the traffic light in accordance with whether a current position of a vehicle is included in a set location; and a location coordinate processing unit detecting and storing location coordinates of the traffic light detected by the recognition unit.

Description

신호등 위치 저장 장치 및 방법{TRAFFIC LIGHT LOCATION STORAGE APPARATUS AND METHOD}Field of the Invention [0001] The present invention relates to a traffic light location storage apparatus,

본 발명은 신호등 데이터 구축 장치 및 방법에 관한 것으로서, 보다 상세하게는 MMS(Mobile Mapping System) 데이터와 LAS 데이터를 이용하여 신호등의 위치 데이터를 지도정보에 저장하는 신호등 위치 저장 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for constructing traffic light data, and more particularly, to a traffic light location storage apparatus and method for storing location data of a traffic light using map data and MAS (Mobile Mapping System) data in map information.

GPS(global positioning system)는 인공위성을 이용한 첨단 항법체계로써, GIS(geographic information system)와 함께 사용되어 도로상황 등을 운전자에게 제공하며, 출발시점부터 목표 지점까기 거리, 걸리는 시간, 도로상황을 운전자에게 알려주어 편리하고 신속하게 목표지점까지 도달하도록 도와준다. Global positioning system (GPS) is an advanced navigation system using satellites. It is used together with a geographic information system (GIS) to provide road conditions to the driver. It provides the driver with information about the distance from the start point to the target point, It helps you reach your goal quickly and conveniently.

한편, 현대와 같이 복잡한 시대에는 하루가 다르게 도로가 확장되거나 수정되면서 도로에 필요한 부대시설 즉, 교차로, 교통신호망, 횡단보도 등이 수시로 사라지거나 신설된다 On the other hand, in today's complex times, the roads are enlarged or modified differently day by day, and the necessary facilities for the roads such as intersections, traffic signal networks, and crosswalks disappear from time to time

그러나, GPS에 탑재되는 수치지도는 그 제작과정과 보정과정이 복잡하고 시간이 소요되는 작업으로 인하여, 일년에 몇 번의 업데이트만이 가능한 실정이다. However, due to the complicated and time-consuming process of producing and calibrating the digital map mounted on the GPS, only a few updates are available in a year.

이에 따라 도로상황이 변하거나 수정됨으로 인해 변화되는 부대시설이 바뀐 상태에서 GPS에 탑재되는 수치지도는 수시로 업데이트가 되지 않은 상태에서 운행을 하는 경우가 종종 있게 되고, 이는 GPS를 신뢰하고 운전하는 운전자의 안전운전을 방해하는 요인이 되고 있다. As a result, the numerical map installed in the GPS often changes from time to time when the state of the road is changed or changed due to the change of the auxiliary facilities. Which is a factor that hinders safe driving.

본 발명의 배경기술은 대한민국 등록특허 10-1745557호(2017.06.02)의 '촬영영상을 이용한 교통신호기 검출장치 및 그 방법'에 개시되어 있다.The background art of the present invention is disclosed in Korean Patent No. 10-1455557 (2017.06.02) entitled " Apparatus And Method For Detecting Traffic Signals Using Photographed Images ".

종래에는 도로의 신호등을 지도에 업데이트하기 위해 차량에서 촬영된 영상을 분석하여 도로의 신호등을 인식하고 지도에 업데이트하였다. 그러나, 이러한 방식은 단순히 촬영된 영상만을 이용하므로, 신호등에 대한 인식률이 저하되고 그 결과 신호등의 위치정보가 부정확해지는 문제점이 있었다. Conventionally, in order to update the traffic light on the road, the image of the vehicle was analyzed to recognize the traffic light on the road and updated on the map. However, this method uses only the photographed image, so that the recognition rate for the traffic lights is lowered, and as a result, the location information of the traffic lights becomes inaccurate.

본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 MMS(Mobile Mapping System) 데이터와 LAS 데이터를 이용하여 신호등의 위치 데이터를 지도정보에 저장하는 신호등 위치 저장 장치 및 방법을 제공하는 것이다. SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of one aspect of the present invention to provide a traffic light position storage device for storing position data of a traffic light using map data of MMS (Mobile Mapping System) And a method thereof.

본 발명의 일 측면에 따른 신호등 위치 저장 장치는 실제 도로를 주행하면서 도로 및 주변을 측량한 MMS(Mobile Mapping System) 데이터를 검출하는 모바일 맵핑 시스템; 상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터를 이용하여 신호등을 검출하고 검출 결과에 따라 차량의 현재 위치가 설정 위치에 포함되는지 여부에 따라 LAS 데이터를 이용하여 신호등을 검출하는 인식부; 및 상기 인식부에 의해 검출된 신호등의 위치 좌표를 검출하여 저장하는 위치좌표 처리부를 포함하는 것을 특징으로 한다. A mobile mapping system for detecting MMS (Mobile Mapping System) data that measures a road and its surroundings while traveling on an actual road, according to an aspect of the present invention; A recognition unit for detecting a traffic light using image data of the MMS data detected by the mobile mapping system and detecting a traffic light using LAS data according to whether the current position of the vehicle is included in the set position according to the detection result; And a position coordinate processor for detecting and storing the position coordinates of the signal or the like detected by the recognition unit.

본 발명의 상기 인식부는 상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터에서 기계 학습으로 신호등을 탐지하는 제1 인식부; 상기 제1 인식부의 탐지 결과에 따라 현재 위치가 기 설정된 설정구역 이내인지 여부를 판단하는 구역 판단부; 및 상기 구역 판단부에 의해 검출된 현재 위치가 상기 설정구역 이내이면 상기 모바일 맵핑 시스템에서 검출된 LAS 데이터를 이용하여 신호등을 인식하는 제2 인식부를 포함하는 것을 특징으로 한다. The recognition unit may include a first recognition unit for detecting a traffic light from the image data of the MMS data detected by the mobile mapping system by machine learning; A zone determination unit for determining whether a current position is within a predetermined setting zone according to the detection result of the first recognition unit; And a second recognition unit for recognizing the traffic lights using the LAS data detected by the mobile mapping system when the current location detected by the area determination unit is within the setting area.

본 발명의 상기 위치 좌표 처리부는 상기 제1 인식부에 의해 신호등이 탐지되면 신호등까지의 거리와 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출하는 것을 특징으로 한다. The position coordinate processor of the present invention is characterized in that when the signal lamp is detected by the first recognition unit, the position coordinates of the signal lamp are detected by using the distance to the signal lamp and the current position of the vehicle.

본 발명의 상기 설정 구역은 교차로 구역, 횡단보도 구역 및 어린이 보호구역 중 적어도 하나를 포함하는 것을 특징으로 한다. The setting zone of the invention is characterized in that it comprises at least one of an intersection zone, a crosswalk zone and a child protection zone.

본 발명의 상기 구역 판단부는 상기 제1 인식부의 탐지 결과 신호등이 미탐지된 것으로 판단되면 현재 위치가 상기 설정구역 이내인지 여부를 판단하는 것을 특징으로 한다. The zone determination unit of the present invention determines whether the current position is within the preset zone if it is determined that the detection result signal of the first recognition unit is undetected.

본 발명의 상기 제2 인식부는 상기 모바일 맵핑 시스템의 영상 데이터를 신호등 색상 특징으로 신호처리하여 신호등 색상값을 바탕으로 신호등으로 추정되는 관심 영역의 픽셀좌표를 검출하는 픽셀좌표 검출부; 및 상기 모바일 맵핑 시스템의 LAS 데이터를 이용하여 상기 픽셀좌표 검출부에 의해 검출된 픽셀좌표에 해당하는 신호등 객체를 검출하는 LAS 신호등 검출부를 포함하는 것을 특징으로 한다. The second recognizing unit of the present invention may include a pixel coordinate detecting unit for detecting pixel coordinates of a region of interest estimated by a traffic light based on a signal light color value by processing the image data of the mobile mapping system using a signal light color characteristic; And a LAS signal light detector for detecting a signal light object corresponding to the pixel coordinates detected by the pixel coordinate detector using the LAS data of the mobile mapping system.

본 발명의 상기 LAS 신호등 검출부는 LAS 데이터에서 지면 높이에 해당하는 부분을 마스크 처리하는 것을 특징으로 한다. The LAS signal lamp detecting unit of the present invention is characterized by masking a portion corresponding to the ground level in LAS data.

본 발명의 상기 LAS 신호등 검출부는 상기 픽셀좌표 검출부에 의해 검출된 관심영역에 LAS 데이터를 전방위 방향으로 투영하여 관심영역에서의 심볼 패턴 매칭을 통해 신호등에 해당하는 신호등 객체 패턴 심볼을 검출하는 것을 특징으로 한다. The LAS signal lamp detecting unit of the present invention is characterized by projecting the LAS data in the omnidirectional direction in the region of interest detected by the pixel coordinate detecting unit and detecting a traffic light object pattern symbol corresponding to the traffic light through symbol pattern matching in the region of interest do.

본 발명의 상기 위치 좌표 처리부는 상기 LAS 신호등 검출부에 의해 검출된 신호등까지의 거리를 검출하고, 검출된 신호등까지의 거리 및 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출하는 것을 특징으로 한다.The position coordinate processor of the present invention is characterized by detecting the distance to the signal lamp detected by the LAS signal lamp detector, and detecting the position coordinates of the signal lamp using the distance to the detected signal lamp and the current position of the vehicle.

본 발명의 일 측면에 따른 신호등 위치 저장 방법은 모바일 맵핑 시스템이 실제 도로를 주행하면서 도로 및 주변을 측량한 MMS(Mobile Mapping System) 데이터를 검출하는 단계; 인식부가 상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터를 이용하여 신호등을 탐지하고 탐지 결과에 따라 차량의 현재 위치가 설정 위치에 포함되는지 여부에 따라 LAS 데이터를 이용하여 신호등을 검출하는 단계; 및 위치 좌표 처리부가 상기 인식부에 의해 검출된 신호등의 위치 좌표를 검출하여 저장하는 단계를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided a method for storing a signal light position, the method comprising: detecting a mobile mapping system (MMS) data that measures a road and its surroundings while the mobile mapping system travels on an actual road; Detecting a traffic light using image data among the MMS data detected by the mobile mapping system and detecting a traffic light using LAS data according to whether the current position of the vehicle is included in the set position according to the detection result; And a position coordinate processing unit detecting and storing position coordinates of a signal or the like detected by the recognition unit.

본 발명의 상기 신호등을 검출하는 단계는 제1 인식부가 상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터에서 기계 학습으로 신호등을 탐지하는 단계; 구역 판단부가 상기 제1 인식부의 탐지 결과에 따라 현재 위치가 기 설정된 설정구역 이내인지 여부를 판단하는 단계; 및 제2 인식부가 상기 구역 판단부에 의해 검출된 현재 위치가 상기 설정구역 이내이면 상기 모바일 맵핑 시스템에서 검출된 LAS 데이터를 이용하여 신호등을 탐지하는 단계를 포함하는 것을 특징으로 한다. The step of detecting the traffic lights of the present invention may include the steps of the first recognition unit detecting the traffic lights from the video data of the MMS data detected in the mobile mapping system by machine learning; Determining whether a current position is within a predetermined setting zone according to a detection result of the first recognition unit; And detecting a traffic light using the LAS data detected by the mobile mapping system if the current position detected by the area determination unit is within the setting area, by the second recognition unit.

본 발명의 상기 설정 구역은 교차로 구역, 횡단보도 구역 및 어린이 보호구역 중 적어도 하나를 포함하는 것을 특징으로 한다. The setting zone of the invention is characterized in that it comprises at least one of an intersection zone, a crosswalk zone and a child protection zone.

본 발명의 상기 LAS 데이터를 이용하여 신호등을 탐지하는 단계에서, 상기 인식부는 상기 모바일 맵핑 시스템의 영상 데이터를 신호등 색상 특징으로 신호처리하여 신호등 색상값을 바탕으로 신호등으로 추정되는 관심 영역의 픽셀좌표를 검출하고, 상기 모바일 맵핑 시스템의 LAS 데이터를 이용하여 상기 픽셀좌표 검출부에 의해 검출된 픽셀좌표에 해당하는 신호등 객체를 검출하는 것을 특징으로 한다. In the step of detecting the traffic lights using the LAS data of the present invention, the recognition unit processes the image data of the mobile mapping system using the traffic light color feature, and calculates pixel coordinates of the region of interest estimated by the traffic lights based on the traffic light color value And detects a traffic light object corresponding to the pixel coordinates detected by the pixel coordinate detection unit using LAS data of the mobile mapping system.

본 발명의 상기 LAS 데이터를 이용하여 신호등을 탐지하는 단계에서, 상기 인식부는 상기 픽셀좌표 검출부에 의해 검출된 관심영역에 LAS 데이터를 전방위 방향으로 투영하여 관심영역에서의 심볼 패턴 매칭을 통해 신호등에 해당하는 신호등 객체 패턴 심볼을 검출하는 것을 특징으로 한다. In the step of detecting a traffic light using the LAS data of the present invention, the recognition unit may project the LAS data in the omni-directional direction in the ROI detected by the pixel coordinate detection unit, And the traffic light object pattern symbol is detected.

본 발명의 상기 LAS 데이터를 이용하여 신호등을 탐지하는 단계에서, 상기 인식부는 LAS 데이터에서 지면 높이에 해당하는 부분을 마스크 처리하는 것을 특징으로 한다. In the step of detecting a traffic light using the LAS data of the present invention, the recognizing unit masks a portion corresponding to the ground height in the LAS data.

본 발명의 일 측면에 따른 신호등 위치 저장 장치 및 방법은 MMS 데이터와 LAS 데이터를 이용하여 신호등의 위치 데이터를 지도정보에 저장하고, 신호등의 위치를 실시간으로 갱신할 수 있다. According to an aspect of the present invention, a method and apparatus for storing a position of a traffic light can store location data of a traffic light using map data and update the location of the traffic light in real time using MMS data and LAS data.

도 1 은 본 발명의 일 실시예에 따른 신호등 위치 저장 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 신호등 위치 저장 예시도이다.
도 3 은 본 발명의 일 실시예에 따른 신호등 위치 저장 과정을 개념적으로 나타낸 도면이다.
도 4 는 본 발명의 일 실시예에 따른 관심영역의 일 예를 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 신호등 객체 패턴 심볼 매칭을 통한 신호등 객체를 찾는 과정을 예시적으로 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 신호등 위치 저장 방법의 순서도이다.1 is a block diagram of a signal lamp position storage apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an example of storing a signal lamp position according to an embodiment of the present invention.
3 is a conceptual view illustrating a signal lamp position storing process according to an embodiment of the present invention.
4 is a diagram illustrating an example of a region of interest according to an embodiment of the present invention.
5 is a diagram illustrating a process of searching for a traffic light object through symbol matching of a traffic light object pattern according to an embodiment of the present invention.
6 is a flowchart of a method of storing a signal lamp position according to an embodiment of the present invention.

이하에서는 본 발명의 일 실시예에 따른 신호등 위치 저장 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an apparatus and method for storing a signal lamp position according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. Further, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the user, the intention or custom of the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

도 1 은 본 발명의 일 실시예에 따른 신호등 위치 저장 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 신호등 위치 저장 예시도이며, 도 3 은 본 발명의 일 실시예에 따른 신호등 위치 저장 과정을 개념적으로 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 관심영역의 일 예를 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 신호등 객체 패턴 심볼 매칭을 통한 신호등 객체를 찾는 과정을 예시적으로 나타낸 도면이다. FIG. 1 is a block diagram of a signal lamp position storage apparatus according to an embodiment of the present invention. FIG. 2 is a diagram illustrating an example of storing a signal lamp position according to an embodiment of the present invention. FIG. 4 is a diagram illustrating an example of a region of interest according to an embodiment of the present invention. FIG. 5 is a flowchart illustrating a method of matching a traffic light object pattern according to an exemplary embodiment of the present invention. And searching for a traffic light object.

도 1 을 참조하면, 본 발명의 일 실시예에 따른 신호등 위치 저장 장치는 모바일 맵핑 시스템(10), 인식부(20), 및 위치좌표 처리부(30)를 포함한다.Referring to FIG. 1, a signal lamp position storage apparatus according to an embodiment of the present invention includes a mobile mapping system 10, a recognition unit 20, and a position coordinate processing unit 30.

모바일 맵핑 시스템(Mobile Mapping System)(10)은 실제 도로를 주행하면서 도로 및 주변을 측량한 MMS(Mobile Mapping System) 데이터를 검출하고, 이 MMS 데이터를 이용하여 LAS 데이터를 검출한 후, 검출된 영상 데이터와 LAS 데이터를 인식부(20)에 전달한다.The Mobile Mapping System 10 detects MMS (Mobile Mapping System) data on the road and its surroundings while traveling on an actual road, detects LAS data using the MMS data, And transmits the data and the LAS data to the recognition unit 20.

즉, 모바일 맵핑 시스템(10)은 차량에 고성능의 CCD(Charge Coupled Device) 카메라와 위치측정장비(GPS(Global Positioning System)/INS(Inertial Navigation System), Odometer 등), 및 레이저 스캐너나 디지털카메라 등의 영상 취득 장치를 장착하고 도로에서 일정한 거리 또는 시간간격으로 지리 정보 데이터를 획득한다.In other words, the mobile mapping system 10 can be applied to a vehicle in which a high-performance CCD (Charge Coupled Device) camera, a position measuring instrument (GPS (Global Positioning System) / INS And acquires the geographical information data at a predetermined distance or time interval on the road.

이러한 모바일 맵핑 시스템(10)은 실제 도로를 주행하여 도로 및 주변을 측량한 MMS 데이터를 저장하면, MMS 데이터 중 레이저 스캐너를 통해 취득된 레이저 데이터와 주행경로 데이터를 이용하여 LAS 데이터를 생성한다. The mobile mapping system 10 generates LAS data using the laser data and the traveling route data obtained through the laser scanner among the MMS data when the MMS data on which the road and the surrounding area are measured is traveled on the actual road.

LAS 데이터는 3차원 정밀 좌표를 가지는 레이저포인트 데이터이며, LAS 데이터를 토대로 신호등이 검출될 수 있다. 이에 대해서는 후술한다. The LAS data is laser point data having three-dimensional precision coordinates, and a traffic light can be detected based on the LAS data. This will be described later.

인식부(20)는 모바일 맵핑 시스템(10)에서 검출된 MMS 데이터 중 영상 데이터를 이용하여 신호등을 검출하고 검출 결과, 차량의 현재 위치가 기 설정된 설정 위치에 포함되는지 여부에 따라 LAS 데이터를 이용하여 신호등을 검출한다. The recognition unit 20 detects the traffic lights using the image data among the MMS data detected by the mobile mapping system 10 and determines whether or not the current position of the vehicle is included in the predetermined setting position by using the LAS data A traffic light is detected.

즉, 인식부(20)는 모바일 맵핑 시스템(10)에서 검출된 MMS 데이터 중 영상 데이터를 기계 학습을 통해 분석하여 신호등을 탐지하며, 이 경우 기계 학습에 의한 탐지 결과가 정답인 경우, 즉 신호등이 정확하게 탐지되면 위치좌표 처리부(30)를 통해 해당 신호등의 위치 좌표를 검출 및 저장하도록 한다. That is, the recognition unit 20 analyzes the image data among the MMS data detected by the mobile mapping system 10 through machine learning to detect a traffic light. In this case, when the detection result by the machine learning is correct, that is, The position coordinates of the corresponding signal are detected and stored through the position coordinate processing unit 30.

반면에, 인식부(20)는 기계 학습에 의한 탐지 결과가 오답인 경우, 즉 영상 데이터에 대한 기계 학습이 정확하게 이루졌으나 신호등이 탐지되지 않은 경우에는 신호등의 위치 좌표를 검출 및 저장하는 과정을 종료한다. On the other hand, when the detection result by the machine learning is an incorrect answer, that is, when the machine learning for the image data is correctly performed but the signal lamp is not detected, the recognition unit 20 ends the process of detecting and storing the position coordinates of the signal lamp do.

반면에 인식부(20)는 기계 학습에 의한 탐지 결과 미탐지인 경우, 즉 기계 학습 결과 신호등을 명확하게 판단하지 못한 경우에는, 차량의 현재 위치가 기 설정된 설정 구역 이내에 포함되는지를 판단하며, 판단 결과에 따라 LAS 데이터를 이용하여 신호등을 검출한 후, 해당 신호등의 위치 좌표를 검출 및 저장한다.On the other hand, if the detection result of the machine learning is not detected, that is, if the machine learning result signal can not be clearly determined, the recognition unit 20 determines whether the current position of the vehicle is included in the predetermined setting zone, After detecting the traffic lights using the LAS data according to the result, the position coordinates of the corresponding traffic lights are detected and stored.

도 2 및 도 3 을 참조하면, 인식부(20)는 제1 인식부(21), 구역 판단부(22) 및 제2 인식부(23)를 포함한다.2 and 3, the recognition unit 20 includes a first recognition unit 21, a zone determination unit 22, and a second recognition unit 23.

제1 인식부(21)는 모바일 맵핑 시스템(10)에서 검출된 MMS 데이터 중 영상 데이터에서 기계 학습을 이용하여 신호등을 탐지한다. 이 경우, 제1 인식부(21)는 모바일 맵핑 시스템(10)에서 기계 학습, 예를 들어 딥러닝을 이용하여 신호등을 탐지한다. The first recognition unit 21 detects a traffic light from the image data of the MMS data detected by the mobile mapping system 10 using machine learning. In this case, the first recognition unit 21 detects a traffic light using a machine learning, for example, a deep learning, in the mobile mapping system 10.

제1 인식부(21)는 딥러닝을 이용한 신호등 탐지 결과 신호등이 정확하게 탐지(정답)되면, 탐지 결과를 위치좌표 처리부(30)에 전달한다. 이 경우, 위치좌표 처리부(30)는 신호등까지의 거리와 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출한다. The first recognition unit 21 transmits the detection result to the position coordinate processing unit 30 when the signal light detection result signal using the deep learning is correctly detected (correct answer). In this case, the position coordinate processing unit 30 detects the position coordinates of the traffic lights using the distance to the traffic lights and the current position of the vehicle.

구역 판단부(22)는 제1 인식부의 탐지 결과에 따라 현재 위치가 기 설정된 설정구역 이내인지 여부를 판단한다. The zone determination unit 22 determines whether the current position is within a preset zone according to the detection result of the first recognition unit.

먼저, 구역 판단부(22)는 영상 데이터에 대한 기계 학습이 정확하게 이루졌으나 신호등이 탐지되지 않은 경우(오탑)인 경우에는 신호등이 존재하지 않는 경우이므로 신호등의 위치 검출 및 저장을 종료한다. First, the area determination unit 22 terminates the detection and storage of the position of the traffic light because the traffic light is not present when the machine learning is correctly performed on the image data but the traffic light is not detected (the overtop).

구역 판단부(22)는 제1 인식부(21)의 기계 학습에 의한 탐지 결과, 신호등이 정확하게 탐지되지 않은 경우(미탐지), 현재 위치가 기 설정된 설정구역 이내인지 여부를 판단한다. The area determination unit 22 determines whether the current position is within a predetermined setting area when the detection result of the first recognition unit 21 by the machine learning and the signal lamp is not detected correctly (not detected).

설정구역은 신호등이 위치할 가능성이 상대적으로 높은 지역이며, 설정구역에는 교차로 구역, 횡단보도 구역 및 어린이 보호구역이 포함될 수 있다. The setting area is a relatively high possibility that a traffic light is located, and the setting area may include an intersection area, a crosswalk area and a child protection area.

즉, 구역 판단부(22)는 기계 학습에 의한 탐지 결과가, 영상 데이터에 대한 기계 학습이 정확하게 이루졌으나 신호등이 탐지되지 않은 오답인 경우에는 신호등의 위치 좌표를 검출 및 저장하는 과정을 종료한다. That is, when the detection result by the machine learning is an incorrect answer in which the machine learning for the video data is correctly performed but the signal lamp is not detected, the zone determining unit 22 ends the process of detecting and storing the position coordinates of the signal lamp.

반면에, 구역 판단부(22)는 기계 학습에 의한 탐지 결과가, 신호등이 정확하게 탐지되지 않은 미탐지인 경우에는 차량의 현재 위치가 상기한 설정 구역 이내에 포함되는지를 판단한다. On the other hand, when the detection result by the machine learning is not detected, the detection unit 22 determines whether the current position of the vehicle is included within the setting area.

제2 인식부(23)는 구역 판단부(22)의 판단 결과 차량의 현재 위치가 상기한 설정 구역 이내에 포함되면, 모바일 맵핑 시스템(10)에서 검출된 LAS 데이터를 이용하여 신호등을 인식한다. The second recognition unit 23 recognizes the traffic lights using the LAS data detected by the mobile mapping system 10 when the current position of the vehicle is included within the setting area as a result of the determination by the area determination unit 22. [

도 2 를 참조하면, 제2 인식부(23)는 픽셀좌표 검출부(231) 및 LAS 신호등 검출부(232)를 포함한다. 2, the second recognition unit 23 includes a pixel coordinate detection unit 231 and a LAS signal light detection unit 232.

픽셀좌표 검출부(231)는 모바일 맵핑 시스템(10)의 영상 데이터를 신호등 색상 특징으로 신호 처리하여 신호등 색상값을 바탕으로 신호등으로 추정되는 관심 영역(Rigion Of Interest;ROI)의 픽셀좌표를 검출한다.The pixel coordinate detector 231 processes the image data of the mobile mapping system 10 using a signal light color characteristic to detect pixel coordinates of a region of interest (ROI) estimated as a signal based on the signal color value.

즉, 도 3 에 도시된 바와 같이 픽셀좌표 검출부(231)는 모바일 맵핑 시스템(10)의 영상 데이터를 신호등 색상, 예를 들어, 적색, 청색, 황색 등의 신호등 색상 특성으로 영상 전처리를 수행한다. 3, the pixel coordinate detection unit 231 performs image preprocessing on the image data of the mobile mapping system 10 using the signal light color characteristics such as the color of a signal light, for example, red, blue, and yellow.

영상 전처리 과정을 통해 신호등 색상이 검출되면, 픽셀좌표 검출부(231)는 도 4 에 도시된 바와 같이, 해당 색상값을 바탕으로 관심 영역을 검출한다. 이 경우, 픽셀좌표 검출부(231)는 해당 색상의 지름(r)을 바탕을 지름의 2배(2r)만큼의 길이를 관심 영역의 높이로 설정하고, 지름의 4배(4r)만큼의 길이를 관심영역의 너비로 설정한다. When the color of the traffic light is detected through the image preprocessing process, the pixel coordinate detection unit 231 detects the ROI based on the corresponding color value, as shown in FIG. In this case, the pixel coordinate detection unit 231 sets the length r of the corresponding color to twice the diameter (2r) of the background as the height of the ROI, and sets the length of 4 times (4r) Set to the width of the region of interest.

LAS 신호등 검출부(232)는 모바일 맵핑 시스템(10)의 LAS 데이터를 이용하여 픽셀좌표 검출부(231)에 의해 검출된 픽셀좌표에 해당하는 신호등 객체를 검출한다. The LAS traffic light detecting unit 232 detects the traffic light object corresponding to the pixel coordinates detected by the pixel coordinate detecting unit 231 using the LAS data of the mobile mapping system 10. [

즉, LAS 신호등 검출부(232)는 상기한 바와 같이 픽셀좌표 검출부(231)에 의해 검출된 관심영역에 LAS 데이터를 전방위 방향으로 투영하여 해당 관심영역에서의 신호등 형태 형상, 즉 신호등 객체 패턴 심볼을 검출한다. That is, as described above, the LAS signal light detecting unit 232 projects the LAS data in the omnidirectional direction in the ROI detected by the pixel coordinate detecting unit 231 and detects the shape of the traffic light in the ROI, do.

LAS 신호등 검출부(232)는 모바일 맵핑 시스템(10)의 LAS 데이터를 이용하여 도 5 에 도시된 바와 같은 형태 기반의 신호등 객체 패턴 심볼을 검출하는데, 신호등에 대응되는 심볼 패턴과 매칭시켜 신호등 객체 패턴 심볼을 검출할 수 있다. The LAS traffic light detecting unit 232 detects a traffic light object pattern symbol based on the shape as shown in FIG. 5 using the LAS data of the mobile mapping system 10, and matches the symbol pattern corresponding to the traffic light, Can be detected.

이 경우, LAS 신호등 검출부(232)는 LAS 데이터에서 지면 높이에 해당하는 부분을 마스크 처리함으로써, 심볼 패턴 매칭시 오류를 최소화한다. In this case, the LAS signal light detecting unit 232 minimizes errors in symbol pattern matching by masking a portion corresponding to the ground height in the LAS data.

즉, 제1 인식부(21)의 기계 학습에 따른 신호등 탐지 결과 미탐지되면, 신호등이 존재할 가능성이 있다. That is, if the detection result of the signal light due to the machine learning of the first recognition unit 21 is not detected, there is a possibility that the signal light is present.

또한, 현재 위치가 신호등이 존재할 가능성이 높은 설정구역에 포함되는지를 확인한다.Also, it is confirmed whether or not the current position is included in a setting area where there is a high possibility that a traffic light exists.

이와 같이, 기계 학습 결과 신호등이 미탐지되고 현재 설정구역 이내에 존재할 경우, 신호등이 존재할 가능성이 있는 바, 영상 데이터에서의 색상값을 통해 신호등을 1차적으로 추정하고, 이어 LAS 데이터를 통해 신호등의 형태를 검출함으로써, 현재 위치에서의 신호등이 위치하는 것으로 최종적으로 판단하게 된다. In this way, if the machine learning result signal is not detected and is present within the current setting area, there is a possibility that a traffic light exists. Therefore, the traffic light is firstly estimated through the color value in the image data, So that it is finally determined that the signal lamp at the current position is located.

위치좌표 처리부(30)는 제1 인식부(21)에 의해 신호등이 정확하게 탐지되거나, 제2 인식부(23)에 의해 신호등이 검출되면, 해당 신호등까지의 거리와 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출하고, 검출된 위치 좌표를 지도정보에 저장한다.The position coordinate processing unit 30 uses the distance to the signal lamp and the current position of the vehicle to detect a signal lamp by the first recognition unit 21 or a signal lamp by the second recognition unit 23, And stores the detected position coordinates in the map information.

여기서, 위치좌표 처리부(30)가 상기한 MMS 데이터를 이용하여 신호등의 위치 좌표를 검출하는 방식은 상기한 바와 같이 신호등까지의 거리와 차량의 현재 위치를 이용하는 방식 이외에도 다양한 방식이 모두 이용될 수 있다. Here, the method in which the position coordinate processor 30 detects the position coordinates of the signal lamp using the above-mentioned MMS data may be variously used in addition to the method using the distance to the signal lamp and the current position of the vehicle as described above .

이하 본 발명의 일 실시예에 따른 신호등 위치 저장 방법을 도 6 을 참조하여 설명한다. Hereinafter, a method of storing a signal lamp position according to an embodiment of the present invention will be described with reference to FIG.

도 6 은 본 발명의 일 실시예에 따른 신호등 위치 저장 방법의 순서도이다.6 is a flowchart of a method of storing a signal lamp position according to an embodiment of the present invention.

도 6 을 참조하면, 먼저 모바일 맵핑 시스템(10)은 실제 도로를 주행하면서 도로 및 주변을 측량한 MMS 데이터를 검출한다(S10). Referring to FIG. 6, first, the mobile mapping system 10 detects MMS data measured on the road and its surroundings while traveling on an actual road (S10).

이 경우, 모바일 맵핑 시스템(10)은 상기한 바와 같이 측량한 MMS 데이터를 저장하고, 이러한 MMS 데이터 중 레이저 스캐너를 통해 취득된 레이저 데이터와 주행경로 데이터를 이용하여 LAS 데이터를 생성하고, 이러한 MMS 데이터 및 LAS 데이터를 인식부(20)에 전달한다. In this case, the mobile mapping system 10 stores the MMS data measured as described above, generates LAS data using the laser data and travel route data obtained from the laser scanner among the MMS data, And the LAS data to the recognition unit 20.

이어, 제1 인식부(21)는 모바일 맵핑 시스템(10)에서 검출된 MMS 데이터 중 영상 데이터에서 기계 학습으로 신호등을 탐지한다(S20). Next, the first recognition unit 21 detects a traffic light from the image data of the MMS data detected by the mobile mapping system 10 by machine learning (S20).

이 경우, 제1 인식부(21)는 딥러닝을 이용하여 신호등을 탐지하는데, 탐지 결과가 신호등을 정확하게 탐지한 정답, 탐지가 정확하게 이루어졌으나 신호등은 탐지되지 않는 오답, 및 탐지가 부정확하게 이루어진 미탐지로 나타날 수 있다.In this case, the first recognizing unit 21 detects the signal lamp by using deep running. The correct result is obtained when the detection result is an accurate signal, the wrong signal is detected but the signal is not detected. Can be detected.

이에, 구역 판단부(22)는 제1 인식부(21)의 기계학습에 의한 탐지 결과가 신호등이 정확하게 탐지된 정답인지 여부를 판단(S20)하고, 판단 결과 정답이면, 위치좌표 처리부(30)는 신호등까지의 거리를 검출하고, 검출된 신호등까지의 거리 및 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출한다(S70). The area determination unit 22 determines whether the detection result of the machine learning by the first recognition unit 21 is the correct answer that the signal is correctly detected (S20). If the result is correct, Detects the distance to the signal lamp, and detects the position coordinates of the signal lamp using the distance to the detected signal lamp and the current position of the vehicle (S70).

반면에, 단계(S20)에서의 판단 결과, 제1 인식부(21)의 기계학습에 의한 탐지 결과가 신호등을 탐지한 정답이 아니면, 탐지 결과가 미탐지인지 여부를 판단한다(S30).On the other hand, if it is determined in step S20 that the detection result by the machine learning of the first recognition unit 21 is not the correct one for detecting the traffic light, it is determined whether the detection result is not detected (S30).

단계(S30)에서의 판단 결과 탐지 결과가 미탐지가 아니면, 탐지가 정확하게 이루어졌으나 신호등은 탐지되지 않는 오답이다. 오답은 기계 학습에 의한 탐지 결과 신호등이 명확하게 존재하지 않는 경우이므로, 신호등의 위치를 검출 및 저장하는 과정을 종료한다.If the detection result is not undefined as a result of the determination in step S30, the signal is correctly detected but the signal is not detected. Since the incorrect answer is a case where the detection result signal due to the machine learning is not clearly present, the process of detecting and storing the position of the signal lamp is ended.

한편, 단계(S30)에서의 판단 결과 탐지 결과가 미탐지이면, 구역 판단부(22)는 현재 위치가 기 설정된 설정구역, 즉 교차로 구역, 횡단보도 구역 및 어린이 보호구역 중 어느 하나 이내인지 여부를 판단한다(S40).On the other hand, if the detection result is not detected as a result of the determination in step S30, the zone determination unit 22 determines whether the current position is within the predetermined setting zone, that is, the intersection zone, the crosswalk zone, (S40).

단계(S40)에서의 판단 결과 차량의 현재 위치가 설정구역 이내에 포함되면, 픽셀좌표 검출부(231)는 모바일 맵핑 시스템(10)의 영상 데이터를 신호등 색상 특징으로 신호처리하여 신호등 색상값을 바탕으로 신호등으로 추정되는 관심 영역의 픽셀좌표를 검출한다(S50).If the current position of the vehicle is included in the set zone as a result of the determination in step S40, the pixel coordinate detector 231 processes the image data of the mobile mapping system 10 using the signal light color characteristic, Pixel coordinates of the region of interest estimated as S50 (S50).

이어, LAS 신호등 검출부(232)는 모바일 맵핑 시스템(10)의 LAS 데이터를 이용하여 픽셀좌표 검출부(231)에 의해 검출된 픽셀좌표에 해당하는 신호등 객체를 검출한다(S60). Next, the LAS traffic light detecting unit 232 detects the traffic light object corresponding to the pixel coordinates detected by the pixel coordinate detecting unit 231 using the LAS data of the mobile mapping system 10 (S60).

즉, LAS 신호등 검출부(232)는 상기한 바와 같이 픽셀좌표 검출부(231)에 의해 검출된 관심영역에 LAS 데이터를 전방위 방향으로 투영하여 심볼 패턴 매칭을 통해 해당 관심영역에서 신호등 객체 패턴 심볼을 검출한다. That is, as described above, the LAS signal light detector 232 projects the LAS data in the omni-directional direction in the ROI detected by the pixel coordinate detector 231, and detects the LOS object pattern symbol in the ROI through the symbol pattern matching .

이 경우, LAS 신호등 검출부(232)는 LAS 데이터에서 지면 높이에 해당하는 부분을 마스크 처리함으로써, 심볼 패턴 매칭시 오류를 최소화한다. In this case, the LAS signal light detecting unit 232 minimizes errors in symbol pattern matching by masking a portion corresponding to the ground height in the LAS data.

이와 같이, 기계 학습 결과 신호등이 미탐지되고 현재 설정구역 이내에 존재할 경우, 신호등이 존재할 가능성이 있는 바, 영상 데이터에서의 색상값을 통해 신호등을 1차적으로 추정하고, 이어 LAS 데이터를 통해 신호등의 형태를 검출함으로써, 현재 위치에서의 신호등이 위치하는 것으로 최종적으로 판단하게 된다. In this way, if the machine learning result signal is not detected and is present within the current setting area, there is a possibility that a traffic light exists. Therefore, the traffic light is firstly estimated through the color value in the image data, So that it is finally determined that the signal lamp at the current position is located.

한편, 상기한 바와 같이 제2 인식부(23)에 의해 신호등이 검출되면, 위치좌표 처리부(30)는 해당 신호등까지의 거리와 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출하고, 검출된 위치 좌표를 지도정보에 저장한다(S70).On the other hand, when a signal lamp is detected by the second recognition unit 23 as described above, the position coordinate processing unit 30 detects the position coordinates of the signal lamp using the distance to the signal lamp and the current position of the vehicle, The position coordinates are stored in the map information (S70).

이와 같이, 본 발명의 일 실시예에 따른 신호등 위치 저장 장치 및 방법은 MMS 데이터와 LAS 데이터를 이용하여 신호등의 위치 데이터를 지도정보에 저장하고, 신호등의 위치를 실시간으로 갱신할 수 있다. As described above, the apparatus and method for storing a signal light position according to an embodiment of the present invention can store position data of a traffic light using map data and MAS data, and update the position of a traffic light in real time.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, I will understand. Accordingly, the true scope of the present invention should be determined by the following claims.

10: 모바일 맵핑 시스템
20: 인식부
21: 제1 인식부
22: 구역 판단부
23: 제2 인식부
231: 픽셀좌표 검출부
232: LAS 신호등 검출부
30: 위치좌표 처리부10: Mobile mapping system
20:
21: First recognition unit
22:
23: second recognition unit
231: Pixel coordinate detection unit
232: LAS signal lamp detection unit
30: Position coordinate processor

Claims (15)

실제 도로를 주행하면서 도로 및 주변을 측량한 MMS(Mobile Mapping System) 데이터를 검출하는 모바일 맵핑 시스템;
상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터를 이용하여 신호등을 검출하고 검출 결과에 따라 차량의 현재 위치가 설정 위치에 포함되는지 여부에 따라 LAS 데이터를 이용하여 신호등을 검출하는 인식부; 및
상기 인식부에 의해 검출된 신호등의 위치 좌표를 검출하여 저장하는 위치좌표 처리부를 포함하는 신호등 위치 저장 장치.
A mobile mapping system for detecting MMS (Mobile Mapping System) data measuring a road and its surroundings while traveling on an actual road;
A recognition unit for detecting a traffic light using image data of the MMS data detected by the mobile mapping system and detecting a traffic light using LAS data according to whether the current position of the vehicle is included in the set position according to the detection result; And
And a position coordinate processing unit for detecting and storing the position coordinates of the signal or the like detected by the recognition unit.
제 1 항에 있어서, 상기 인식부는
상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터에서 기계 학습으로 신호등을 탐지하는 제1 인식부;
상기 제1 인식부의 탐지 결과에 따라 현재 위치가 기 설정된 설정구역 이내인지 여부를 판단하는 구역 판단부; 및
상기 구역 판단부에 의해 검출된 현재 위치가 상기 설정구역 이내이면 상기 모바일 맵핑 시스템에서 검출된 LAS 데이터를 이용하여 신호등을 인식하는 제2 인식부를 포함하는 것을 특징으로 하는 신호등 위치 저장 장치.
The apparatus of claim 1, wherein the recognition unit
A first recognition unit for detecting a traffic light from the image data among the MMS data detected by the mobile mapping system by machine learning;
A zone determination unit for determining whether a current position is within a predetermined setting zone according to the detection result of the first recognition unit; And
And a second recognition unit for recognizing the traffic lights using the LAS data detected by the mobile mapping system if the current location detected by the area determination unit is within the setting area.
제 2 항에 있어서, 상기 위치 좌표 처리부는 상기 제1 인식부에 의해 신호등이 탐지되면 신호등까지의 거리와 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출하는 것을 특징으로 하는 신호등 위치 저장 장치.
3. The signal lamp position storing apparatus according to claim 2, wherein the position coordinate processor detects the position coordinates of the signal lamp by using the distance to the signal lamp and the current position of the vehicle when the signal lamp is detected by the first recognition unit.
제 2 항에 있어서, 상기 설정 구역은 교차로 구역, 횡단보도 구역 및 어린이 보호구역 중 적어도 하나를 포함하는 것을 특징으로 하는 신호등 위치 저장 장치.
3. The signal lamp position storage device of claim 2, wherein the setting zone comprises at least one of an intersection zone, a crosswalk zone and a child protection zone.
제 2 항에 있어서, 상기 구역 판단부는 상기 제1 인식부의 탐지 결과 신호등이 미탐지된 것으로 판단되면 현재 위치가 상기 설정구역 이내인지 여부를 판단하는 것을 특징으로 하는 신호등 위치 저장 장치.
3. The apparatus according to claim 2, wherein the zone determination unit determines whether the current position is within the setting zone if it is determined that the detection result signal of the first recognition unit is not detected.
제 2 항에 있어서, 상기 제2 인식부는
상기 모바일 맵핑 시스템의 영상 데이터를 신호등 색상 특징으로 신호처리하여 신호등 색상값을 바탕으로 신호등으로 추정되는 관심 영역의 픽셀좌표를 검출하는 픽셀좌표 검출부; 및
상기 모바일 맵핑 시스템의 LAS 데이터를 이용하여 상기 픽셀좌표 검출부에 의해 검출된 픽셀좌표에 해당하는 신호등 객체를 검출하는 LAS 신호등 검출부를 포함하는 것을 특징으로 하는 신호등 위치 저장 장치.
3. The apparatus of claim 2, wherein the second recognition unit
A pixel coordinate detector for detecting a pixel coordinate of a region of interest estimated from a traffic light based on a traffic light color value by signal processing the image data of the mobile mapping system using a traffic light color feature; And
And a LAS signal light detector for detecting a signal light object corresponding to the pixel coordinates detected by the pixel coordinate detector using the LAS data of the mobile mapping system.
제 6 항에 있어서, 상기 LAS 신호등 검출부는 LAS 데이터에서 지면 높이에 해당하는 부분을 마스크 처리하는 것을 특징으로 하는 신호등 위치 저장 장치.
The apparatus according to claim 6, wherein the LAS signal light detection unit masks a portion corresponding to the ground level in the LAS data.
제 6 항에 있어서, 상기 LAS 신호등 검출부는 상기 픽셀좌표 검출부에 의해 검출된 관심영역에 LAS 데이터를 전방위 방향으로 투영하여 관심영역에서의 심볼 패턴 매칭을 통해 신호등에 해당하는 신호등 객체 패턴 심볼을 검출하는 것을 특징으로 하는 신호등 위치 저장 장치.
7. The apparatus of claim 6, wherein the LAS signal lamp detecting unit detects the LAS data pattern corresponding to the traffic light through symbol pattern matching in the ROI by projecting the LAS data in the omnidirectional direction to the ROI detected by the pixel coordinate detecting unit Wherein the light source is a light source.
제 6 항에 있어서, 상기 위치 좌표 처리부는 상기 LAS 신호등 검출부에 의해 검출된 신호등까지의 거리를 검출하고, 검출된 신호등까지의 거리 및 차량의 현재 위치를 이용하여 신호등의 위치 좌표를 검출하는 것을 특징으로 하는 신호등 위치 저장 장치.
The position coordinate processor according to claim 6, wherein the position coordinate processor detects the distance to the signal lamp detected by the LAS signal lamp detector, and detects the position coordinates of the signal lamp using the distance to the detected signal lamp and the current position of the vehicle A traffic light location storage device.
모바일 맵핑 시스템이 실제 도로를 주행하면서 도로 및 주변을 측량한 MMS(Mobile Mapping System) 데이터를 검출하는 단계;
인식부가 상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터를 이용하여 신호등을 탐지하고 탐지 결과에 따라 차량의 현재 위치가 설정 위치에 포함되는지 여부에 따라 LAS 데이터를 이용하여 신호등을 검출하는 단계; 및
위치 좌표 처리부가 상기 인식부에 의해 검출된 신호등의 위치 좌표를 검출하여 저장하는 단계를 포함하는 신호등 위치 저장 방법.
The mobile mapping system detecting MMS (Mobile Mapping System) data measuring a road and its surroundings while traveling on an actual road;
Detecting a traffic light using image data among the MMS data detected by the mobile mapping system and detecting a traffic light using LAS data according to whether the current position of the vehicle is included in the set position according to the detection result; And
And the position coordinate processing unit detects and stores the position coordinates of the signal or the like detected by the recognition unit.
제 10 항에 있어서, 상기 신호등을 검출하는 단계는
제1 인식부가 상기 모바일 맵핑 시스템에서 검출된 MMS 데이터 중 영상 데이터에서 기계 학습으로 신호등을 탐지하는 단계;
구역 판단부가 상기 제1 인식부의 탐지 결과에 따라 현재 위치가 기 설정된 설정구역 이내인지 여부를 판단하는 단계; 및
제2 인식부가 상기 구역 판단부에 의해 검출된 현재 위치가 상기 설정구역 이내이면 상기 모바일 맵핑 시스템에서 검출된 LAS 데이터를 이용하여 신호등을 탐지하는 단계를 포함하는 것을 특징으로 하는 신호등 위치 저장 방법.
11. The method of claim 10, wherein detecting the traffic light comprises:
Detecting a traffic light from video data of the MMS data detected in the mobile mapping system by machine learning;
Determining whether a current position is within a predetermined setting zone according to a detection result of the first recognition unit; And
And detecting a traffic light by using the LAS data detected by the mobile mapping system if the current position detected by the area determination unit is within the preset area by the second recognition unit.
제 11 항에 있어서, 상기 설정 구역은 교차로 구역, 횡단보도 구역 및 어린이 보호구역 중 적어도 하나를 포함하는 것을 특징으로 하는 신호등 위치 저장 방법.
12. The method according to claim 11, wherein the setting zone comprises at least one of an intersection zone, a crosswalk zone and a child protection zone.
제 11 항에 있어서, 상기 LAS 데이터를 이용하여 신호등을 탐지하는 단계에서,
상기 인식부는 상기 모바일 맵핑 시스템의 영상 데이터를 신호등 색상 특징으로 신호처리하여 신호등 색상값을 바탕으로 신호등으로 추정되는 관심 영역의 픽셀좌표를 검출하고, 상기 모바일 맵핑 시스템의 LAS 데이터를 이용하여 상기 픽셀좌표 검출부에 의해 검출된 픽셀좌표에 해당하는 신호등 객체를 검출하는 것을 특징으로 하는 신호등 위치 저장 방법.
12. The method of claim 11, wherein, in the step of detecting the traffic lights using the LAS data,
The recognition unit processes the image data of the mobile mapping system using a signal light color characteristic to detect pixel coordinates of a region of interest estimated by a traffic light based on a signal light color value, And a traffic light object corresponding to the pixel coordinates detected by the detection unit is detected.
제 13 항에 있어서, 상기 LAS 데이터를 이용하여 신호등을 탐지하는 단계에서,
상기 인식부는 상기 픽셀좌표 검출부에 의해 검출된 관심영역에 LAS 데이터를 전방위 방향으로 투영하여 관심영역에서의 심볼 패턴 매칭을 통해 신호등에 해당하는 신호등 객체 패턴 심볼을 검출하는 것을 특징으로 하는 신호등 위치 저장 방법.
14. The method of claim 13, wherein, in the step of detecting the traffic lights using the LAS data,
Wherein the recognition unit projects the LAS data in the omnidirectional direction in the ROI detected by the pixel coordinate detection unit and detects a traffic light object pattern symbol corresponding to the traffic light through symbol pattern matching in the ROI .
제 13 항에 있어서, 상기 LAS 데이터를 이용하여 신호등을 탐지하는 단계에서,
상기 인식부는 LAS 데이터에서 지면 높이에 해당하는 부분을 마스크 처리하는 것을 특징으로 하는 신호등 위치 저장 방법. 14. The method of claim 13, wherein, in the step of detecting the traffic lights using the LAS data,
Wherein the recognizing unit masks the portion corresponding to the ground height in the LAS data.
KR1020170163621A 2017-11-30 2017-11-30 Traffic light location storage apparatus and method KR102464586B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170163621A KR102464586B1 (en) 2017-11-30 2017-11-30 Traffic light location storage apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170163621A KR102464586B1 (en) 2017-11-30 2017-11-30 Traffic light location storage apparatus and method

Publications (2)

Publication Number Publication Date
KR20190064220A true KR20190064220A (en) 2019-06-10
KR102464586B1 KR102464586B1 (en) 2022-11-07

Family

ID=66848437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163621A KR102464586B1 (en) 2017-11-30 2017-11-30 Traffic light location storage apparatus and method

Country Status (1)

Country Link
KR (1) KR102464586B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140085848A (en) * 2012-12-28 2014-07-08 재단법인 경북아이티융합 산업기술원 Detecting system of traffic signal based on vehicle position, and detecting method using the system
KR20140138762A (en) * 2012-03-23 2014-12-04 구글 인코포레이티드 Detecting lane markings
KR20170115368A (en) * 2016-04-07 2017-10-17 엘지전자 주식회사 Driver assistance apparatus and Vehicle
KR20170126909A (en) * 2015-02-10 2017-11-20 모빌아이 비젼 테크놀로지스 엘티디. Directions for autonomous driving

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140138762A (en) * 2012-03-23 2014-12-04 구글 인코포레이티드 Detecting lane markings
KR20140085848A (en) * 2012-12-28 2014-07-08 재단법인 경북아이티융합 산업기술원 Detecting system of traffic signal based on vehicle position, and detecting method using the system
KR20170126909A (en) * 2015-02-10 2017-11-20 모빌아이 비젼 테크놀로지스 엘티디. Directions for autonomous driving
KR20170115368A (en) * 2016-04-07 2017-10-17 엘지전자 주식회사 Driver assistance apparatus and Vehicle

Also Published As

Publication number Publication date
KR102464586B1 (en) 2022-11-07

Similar Documents

Publication Publication Date Title
KR102128851B1 (en) Method and system for determining global location of first landmark
KR102425272B1 (en) Method and system for determining a position relative to a digital map
US8239131B2 (en) Navigation device, navigation method, and navigation program
US8315796B2 (en) Navigation device
US8346473B2 (en) Lane determining device, lane determining method and navigation apparatus using the same
US8676492B2 (en) Map-aided vision-based lane sensing
US20170182934A1 (en) Vehicle projection control system and method of controlling image projection
JP2004045227A (en) Instrument and method for measuring position of vehicle
JP2016050840A (en) Position specification device and data structure
JP6669059B2 (en) Position calculation device
JP2009008590A (en) Vehicle-position-recognition apparatus and vehicle-position-recognition program
JP2020097399A (en) Display control device and display control program
JP2009180631A (en) Navigator, navigation method and program
CN113710988A (en) Method for detecting the functional capability of an environmental sensor, control unit and vehicle
JP2018200501A (en) Lane information output method and lane information output device
JP4596566B2 (en) Self-vehicle information recognition device and self-vehicle information recognition method
US20200109962A1 (en) Method and system for generating navigation data for a geographical location
JP2000097714A (en) Car navigation apparatus
KR20190003884A (en) Apparatus, method and system for updating map database
JP2007218848A (en) Positional information acquisition system for mobile body
JP2009162518A (en) Navigation apparatus and navigation program
JP2006317286A (en) Onboard navigation device
JP4848931B2 (en) Signal correction device for angular velocity sensor
KR102475042B1 (en) Apparatus and method for establishing a hd map
WO2021033312A1 (en) Information output device, automated driving device, and method for information output

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant