KR20170065083A - 도로 시설물 정보를 이용한 차선 표시 장치 및 방법 - Google Patents

도로 시설물 정보를 이용한 차선 표시 장치 및 방법 Download PDF

Info

Publication number
KR20170065083A
KR20170065083A KR1020150170960A KR20150170960A KR20170065083A KR 20170065083 A KR20170065083 A KR 20170065083A KR 1020150170960 A KR1020150170960 A KR 1020150170960A KR 20150170960 A KR20150170960 A KR 20150170960A KR 20170065083 A KR20170065083 A KR 20170065083A
Authority
KR
South Korea
Prior art keywords
lane
information
road
head
corrected
Prior art date
Application number
KR1020150170960A
Other languages
English (en)
Inventor
강인원
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020150170960A priority Critical patent/KR20170065083A/ko
Publication of KR20170065083A publication Critical patent/KR20170065083A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F9/00—Arrangement of road signs or traffic signals; Arrangements for enforcing caution
    • E01F9/50—Road surface markings; Kerbs or road edgings, specially adapted for alerting road users
    • E01F9/553—Low discrete bodies, e.g. marking blocks, studs or flexible vehicle-striking members
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F9/00—Arrangement of road signs or traffic signals; Arrangements for enforcing caution
    • E01F9/60—Upright bodies, e.g. marker posts or bollards; Supports for road signs
    • E01F9/604—Upright bodies, e.g. marker posts or bollards; Supports for road signs specially adapted for particular signalling purposes, e.g. for indicating curves, road works or pedestrian crossings
    • E01F9/615—Upright bodies, e.g. marker posts or bollards; Supports for road signs specially adapted for particular signalling purposes, e.g. for indicating curves, road works or pedestrian crossings illuminated
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F9/00—Arrangement of road signs or traffic signals; Arrangements for enforcing caution
    • E01F9/60—Upright bodies, e.g. marker posts or bollards; Supports for road signs
    • E01F9/604—Upright bodies, e.g. marker posts or bollards; Supports for road signs specially adapted for particular signalling purposes, e.g. for indicating curves, road works or pedestrian crossings
    • E01F9/619—Upright bodies, e.g. marker posts or bollards; Supports for road signs specially adapted for particular signalling purposes, e.g. for indicating curves, road works or pedestrian crossings with reflectors; with means for keeping reflectors clean
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 도로 시설물 정보를 이용한 차선 표시 장치 및 방법에 관한 것으로, 헤드업 디스플레이, 차선 상에 설치된 도로 시설물을 검출하는 센서부, 차선 상에 설치된 도로 시설물을 검출하는 카메라부, 및 상기 센서부와 카메라부를 통해 검출된 도로 시설물 정보를 처리하여 차선을 추정하고, 상기 추정된 차선 정보에 상기 센서부나 카메라부 중 적어도 하나 이상을 이용해 검출된 차선 정보를 정합하여 상기 추정된 차선 정보를 보정하고, 상기 보정된 차선을 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 제어부를 포함한다.

Description

도로 시설물 정보를 이용한 차선 표시 장치 및 방법{APPARATUS FOR DISPLAYING TRAFFIC LANE USING STREET FURNITURE INFORMATION AND METHOD THEREOF}
본 발명은 도로 시설물 정보를 이용한 차선 표시 장치 및 방법에 관한 것으로, 보다 상세하게는 굽은 도로와 같이 차선의 표시에 오류가 있는 도로에 있어서 도로의 마커 혹은 탄력봉과 같은 도로 시설물 정보를 반영하여 좀 더 정확히 차선을 인식하여 헤드업 디스플레이를 통해 증강현실로 차선을 표시해 줄 수 있도록 하는 도로 시설물 정보를 이용한 차선 표시 장치 및 방법에 관한 것이다.
최근 대부분의 차량에는 내비게이션이 장착되어, 운전자에게 목적지와 길 안내를 제공하도록 하고 있으며, 또한 최근에는 차량의 앞 유리창에 원하는 정보를 투사하여 운전자가 전방을 주시하면서도 투사된 정보를 획득할 수 있도록 하는 헤드업 디스플레이(HUD : Head-Up Display)를 장착한 차량이 출시되고 있기도 하다. 나아가 상기 헤드업 디스플레이를 통해 특정 정보를 증강현실의 형식으로 디스플레이할 수 있도록 하는 연구가 진행되고 있는 상황이다.
상기 증강현실(AR : Augmented Reality)은 사용자가 눈으로 보는 현실세계에 3차원의 가상 물체를 겹쳐 보여주는 기술로서, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
종래에 단순히 내비게이션 정보를 헤드업 디스플레이에 표시하기만 하였던 헤드업 디스플레이 장치는, 최근에는 차선을 인식하여 표시해 줄 수 있도록 하는 연구가 진행되고 있다. 그러나 여전히 급격히 굽은 도로에서는 도로 정보 위에 연산된 정보를 매칭 하더라도 오류가 발생하는 문제점이 있다(도 1 참조).
여기서 상기 차선은 자동차 도로에 주행 방향을 따라 일정한 간격으로 그어 놓은 선으로서, 차로와 차로를 구분하기 위해 그 경계 지점에 표시한다. 상기 차로는 차량이 한 줄로 도로의 정하여진 부분을 통행하도록 차선에 의하여 구분되는 차도의 부분을 의미한다. 현실적으로 상기 차선과 차로는 명확하게 구분되지 않고 혼용해서 사용되고 있지만, 편의상 본 실시예에서는 차량이 있는 위치를 차로로 기재하고 각 차로를 구분하는 선을 차선이라고 구분하여 기재한다.
본 발명의 배경기술은 대한민국 공개특허 10-2009-0076242호(2009.07.13.공개, 차량용 헤드 업 디스플레이 장치 및 그 동작 제어 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 굽은 도로와 같이 차선의 표시에 오류가 있는 도로에 있어서 도로의 마커 혹은 탄력봉과 같은 도로 시설물 정보를 반영하여 좀 더 정확히 차선을 인식하여 헤드업 디스플레이를 통해 증강현실로 차선을 표시해 줄 수 있도록 하는 도로 시설물 정보를 이용한 차선 표시 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 도로 시설물 정보를 이용한 차선 표시 장치는, 헤드업 디스플레이; 차선 상에 설치된 도로 시설물을 검출하는 센서부; 차선 상에 설치된 도로 시설물을 검출하는 카메라부; 및 상기 센서부와 카메라부를 통해 검출된 도로 시설물 정보를 처리하여 차선을 추정하고, 상기 추정된 차선 정보에 상기 센서부나 카메라부 중 적어도 하나 이상을 이용해 검출된 차선 정보를 정합하여 상기 추정된 차선 정보를 보정하고, 상기 보정된 차선을 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 인식된 도로 시설물 정보를 연결하여 차선 형태로 생성하여 차선을 추정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 도로 시설물 정보를 연결하여 차선을 추정하기 위하여, 특정 색상을 가지며 기준 조도 이상의 빛을 발광하거나 반사하는 동일한 도로 시설물을 검출하고, 그 도로 시설물이 설치된 간격과 위치를 산출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 도로 시설물은, 스스로 발광하거나 차량의 헤드라이트 빛을 반사하는 반사체가 부착된 마커 또는 탄력봉 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 보정된 차선에 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선을 산출하여 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선에, 내비게이션 정보를 정합하여 추가로 보정된 차선을 산출하여, 이를 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 도로 시설물 정보를 이용한 차선 표시 방법은, 제어부가 센서부를 통해 차선 상에 설치된 도로 시설물을 검출하는 단계; 상기 제어부가 카메라부를 통해 차선 상에 설치된 도로 시설물을 검출하는 단계: 상기 제어부가 상기 센서부와 카메라부를 통해 검출된 도로 시설물 정보를 처리하여 차선을 추정하는 단계; 및 상기 제어부가 상기 추정된 차선에 상기 센서부나 카메라부 중 적어도 하나 이상을 이용해 검출된 차선 정보를 정합하여 상기 추정된 차선을 보정하고, 상기 보정된 차선을 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 도로 시설물 정보를 처리하여 차선을 추정하는 단계에서, 상기 제어부는, 상기 인식된 도로 시설물 정보를 연결하여 차선 형태로 생성하여 차선을 추정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 도로 시설물은, 스스로 발광하거나 차량의 헤드라이트 빛을 반사하는 반사체가 부착된 마커 또는 탄력봉 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 추정된 차선을 보정하는 단계 이후, 상기 제어부는, 상기 보정된 차선에 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선을 산출하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 추가로 보정된 차선을 산출하는 단계 이후, 상기 제어부는, 상기 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선에, 내비게이션 정보를 정합하여 추가로 보정된 차선을 산출하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 굽은 도로와 같이 차선의 표시에 오류가 있는 도로에 있어서 도로의 마커 혹은 탄력봉과 같은 도로 시설물 정보를 반영하여 좀 더 정확히 차선을 인식하여 헤드업 디스플레이를 통해 증강현실로 차선을 표시해 줄 수 있도록 한다.
도 1은 종래의 헤드업 디스플레이가 차선을 표시할 때 오류가 발생하는 도로 구간을 설명하기 위하여 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 도로 시설물 정보를 이용한 차선 표시 장치의 개략적인 구성을 보인 예시도.
도 3은 본 발명의 일 실시예에 따른 도로 시설물 정보를 이용한 차선 표시 방법을 설명하기 위한 흐름도.
도 4는 본 발명의 일 실시예에 관련된 정밀지도에 포함되는 도로정보 표시 데이터를 보인 예시도.
도 5는 본 발명의 일 실시예에 관련된 도로 시설물 중 마커와 탄력봉의 형상과 특성을 설명하기 위하여 보인 예시도.
도 6은 본 발명의 일 실시예에 관련된 정밀지도에 포함된 도로 시설물 정보들을 예시적으로 설명하기 위하여 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 도로 시설물 정보를 이용한 차선 표시 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 도로 시설물 정보를 이용한 차선 표시 장치의 개략적인 구성을 보인 예시도이다.
도 2에 도시된 바와 같이, 본 실시예에 따른 도로 시설물 정보를 이용한 차선 표시 장치(100)는, 카메라부(110), 센서부(120), 제어부(130), 헤드업 디스플레이(140), 및 저장부(150)를 포함한다.
상기 카메라부(110)는 차량 전방의 영상을 촬영하기 위한 수단으로서, 디지털 이미지 센서를 포함하는 적어도 하나 이상의 카메라를 포함하여 구성된다.
상기 카메라부(110)는 주시방향(또는 차량 주행방향)을 촬영하여 보행자(또는 장애물) 영상을 획득한다. 본 실시예에서 상기 카메라부(110)는 차선(또는 차로)을 검출하는데 그 영상을 이용할 수 있다.
예컨대 상기 카메라부(110)는 FIR(Far Infra Red) 카메라 및/또는 CMOS 카메라(또는 CCD 카메라)를 포함할 수 있다. 참고로 상기 CMOS 카메라(또는 CCD 카메라)는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득한다. 그리고 상기 FIR 카메라는 사람이 보지 못하는 적외선 대역의 빛을 투영하여 영상을 획득한다. 특히 FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장점이 있다.
상기 카메라부(110)는 상기 기재된 카메라에 한정되지 않고 다른 방식(예 : 레이저 투사 등)으로 차선을 검출할 수 있는 카메라를 더 포함할 수도 있다.
상기 센서부(120)는 적어도 하나 이상의 차선 검출을 위한 센서를 포함하여 구성될 수 있다.
예컨대 상기 차선 검출 센서는 라이다(LIDAR) 센서를 포함할 수 있다.
그러나 이에 한정하지 않고 다른 방식의 거리 센서(예 : 초음파 거리 센서, 적외선 거리 센서 등)를 더 포함할 수도 있다.
참고로 상기 라이다(LIDAR : Light Detection And Ranging) 센서는 레이저 펄스를 발사하고, 반사되어 돌아오는 시간을 측정하여 반사체의 위치좌표를 측정하는데 사용할 수 있는 센서이다.
상기 센서부(120)는 도로 상에 설치된 도로 시설물(예 : 마커(도 5의 (a) 참조) 또는 탄력봉(도 5의 (b) 참조))에서 반사되는 빛을 검출한다. 물론 상기 카메라부(110)를 통해서도 상기 마커(도 5의 (a) 참조) 또는 탄력봉(도 5의 (b) 참조)에서 반사되는 빛을 검출할 수도 있다.
상기 마커(도 5의 (a) 참조) 또는 탄력봉(도 5의 (b) 참조)은 자체적으로 발광을 할 수도 있으며(자체적인 발광을 위해 태양광 전지가 내장된 것이 있음), 반사체가 부착되어 차량의 헤드라이트를 반사시키는 것도 있다.
상기 마커(도 5의 (a) 참조) 또는 탄력봉(도 5의 (b) 참조)은 통상적으로 붉은색이나 노란색 계통의 빛을 발광하거나 반사시키지만 다른 색상(예 : 파란색 등)을 발광하거나 반사시키는 것이 있을 수도 있다.
따라서 상기 센서부(120)나 카메라부(110)는 상기 마커(도 5의 (a) 참조) 또는 탄력봉(도 5의 (b) 참조)에서 반사되거나 발광하는 빛의 조도와 색상을 검출할 수 있으며, 이로부터 상기 제어부(130)는 동일한 마커나 탄력봉(즉, 특정 색상을 갖고 기준 조도 이상의 빛을 발광하거나 반사하는 마커나 탄력봉)이 설치된 간격을 산출할 수도 있다.
상기 센서부(120)는 주시방향(또는 차량 주행방향)에 있는 보행자(또는 장애물)로부터 반사되는 신호를 검출하여 보행자(또는 장애물)또는 전방 차량과, 운전자의 차량간의 거리를 검출할 수 있으며, 차선 검출에도 이용할 수 있다.
참고로 상기 카메라부(110)를 통한 차선 검출 방식은 카메라를 이용하여 촬영한 영상을 처리하여 차선을 검출하는 것이고, 상기 센서부(120)를 통한 차선 검출 방식은 센서로부터 출력된 신호를 분석하여 차선을 검출하는 것으로 차이가 있으며, 본 실시예에서는 이에 그치지 않고 상기 마커나 탄력봉의 검출 정보를 조합하여 차선을 검출할 수 있다.
특히 상기 마커나 탄력봉은 주의할 도로 구간(예 : 오르막 도로, 내리막 도로, 굽은 도로, 차선이 분리되는 도로, 사고 주의 구간 등)에 많이 설치되어 있으며 야간이나 흐린 날씨에서 더 잘 보이는 효과가 있다.
본 실시예에서는 야간이나 악천후에서 상기 카메라부(110)의 카메라와 상기 센서부(120)의 센서를 이용해 마커나 탄력봉을 검출하고, 실제의 차선의 위치에 맞춰 가상의 차선을 증강현실로 표시함으로써 운전자의 안전운전을 보조할 수 있도록 한다.
상기 헤드업 디스플레이(140)는 상기 센서부(120)와 카메라부(110)를 이용해 검출된 차선 정보를 증강현실로 차량의 유리창(윈드실드)에 투사하여 표시한다.
상기 저장부(150)는 정밀지도 정보 또는 고정밀지도 정보를 저장한다. 물론 상기 정밀지도 정보나 고정밀지도 정보는 유선이나 무선 통신망을 통해 다운로드 받을 수도 있다.
참고로 상기 정밀지도(또는 고정밀지도)는 기존 내비게이션 지도의 진화된 형태로서 차량이 전방 도로환경을 예측할 수 있게 한다. 상기 정밀지도는 기존의 내비게이션 지도와 달리 도로 고저, 차선 너비, 신호등 위치 등의 정보까지 포함하고 있다. 이에 따라 차량은 정밀지도를 통해 자율주행시스템의 안정성을 높일 수 있다. 예를 들어 급커브 구간에서 속도와 조향각을 미리 조절할 수 있으며, 신호등의 위치를 파악하고 있으므로 신속하게 대응할 수 있도록 한다.
또한 상기 정밀지도는 차량의 위치를 파악하는 수단으로 활용될 수 있다. 자율주행에서 차량의 위치는 교차로, 분기점 등에서 차량의 주행 전략을 결정하는 중요한 요소이다. 예를 들어 차량이 도로 분기점에서 출구로 나가야 하는 경우 분기점까지의 거리, 현재 차량의 차선 등의 위치 정보는 차량이 언제 차선을 변경할 지를 결정하는데 필수적이다. 한편 위치를 측정 기술은 GPS가 중심이지만, 터널, 빌딩 숲, 지하주차장 등에서는 GPS가 부정확하기 때문에, 정밀지도를 활용하는 방법이 논의되고 있는 상황이다.
가령 V2X(Vehicle To Everything)와 정밀지도의 상용화를 위해서는 차량 위치를 정밀하게 인식하는 기술이 발전해야 한다. 하지만 GPS를 활용한 기존의 방식은 정밀도가 떨어지고, 위성신호를 받을 수 없는 곳에서는 사용이 어려워 대안 기술이 필요하다. 실제 GPS의 인식 정밀도는 10m 정도로 자율주행차 기능 구현에 필요한 수준에 미치지 못한다.
이에 따라 기존 GPS의 문제를 해결하기 위한 DGPS(Differential GPS) 방식이 개발되었으며, DGPS 방식은 GPS가 위성으로 전송 받은 정보와 지상의 기준국(위성의 위치 값을 측정하기 위해 지상에 설치한 기준 위치, DGPS 기술은 기준국 절대위치와 위성의 기준국 인식값 간의 차이를 보정하여 GPS 장치에 전송)으로부터 받은 위치 보정 데이터를 활용하여 인식 정밀도를 1 ~ 5(m)까지 높이는 방법이다. 그러나 DGPS는 수신기는 부품이 고가이고 데이터 사용량이 늘어나는 단점이 있다. 더욱이 GPS와 마찬가지로 위성 신호를 기반으로 작동하기 때문에 위성 신호를 받을 수 없는 터널, 주차장 등에서는 DGPS를 사용해서도 차량의 위치를 잡아낼 수 없다. 이에 GPS를 보완하기 위해 여러 가지 방법들이 고안되고 있다.
대표적으로 차량 내 센서를 활용하여 GPS의 한계를 보완하는 방법이 있다. 이 기술은 GPS가 부정확한 지역에서 차량의 가속도, 각속도 센서를 이용하여 차량의 기존 위치, 속도, 진행방향을 기반으로 현재 위치를 추정한다. 차량 센서를 이용하여 위치를 추정하는 방식은 외부환경과 무관하게 작동하지만 시간이 경과함에 따라 오차가 누적될 수 있어 GPS의 보완책으로 사용된다.
상기 제어부(130)는 상기 카메라부(110) 및 센서부(120) 중 적어도 어느 하나로부터 입력된 정보를 분석하여 차선, 마크, 및 탄력봉 정보를 검출 및 인식한다. 이때 상기 센서부(120)를 통해 검출된 정보들을 이용하여 인식된 마크, 및 탄력봉 정보는, 연속된 라인 형태로 검출되는 것이 아니라 , 도 6에 도시된 바와 같이 일정한 간격으로 검출된다.
따라서 상기 제어부(130)는 상기 일정 간격으로 검출된 마크, 및 탄력봉 정보를 서로 연장하여 연속된 라인 형태로 생성한다.
이때 상기 연장되는 마크 및 탄력봉 정보는 차량의 위치에 대한 곡률반경, 각 차선 간의 각도 및 거리 정보 중 적어도 하나 이상을 이용하여 연장된다. 이때 상기 저장부에 저장된 정밀지도(또는 고정밀지도) 정보가 정합된다.
또한 상기 제어부(130)는 현재 차량의 위치에 맞춰 내비게이션 정보(즉, 길 안내 정보)를 정합할 수 있다.
다시 말해, 본 실시예에서 상기 제어부(130)는 상기 센서부(120) 및 카메라부(110)를 통해 검출되는 차선, 마커, 탄력봉 정보, 상기 저장부(150)에 저장되어 있는 정밀지도(또는 고정밀지도) 정보, 및 내비게이션 정보를 정합하여 차선을 산출하고 상기 산출된 차선을 증강현실로 헤드업 디스플레이(AR-HUD)(140)에 표시한다. 더구나 본 실시예에서는 마커나 탄력봉과 같은 도로 시설물 정보를 정합하여 차선을 인식하기 때문에 더 정확한 차선을 증강현실로 표시할 수 있는 효과가 있는 것이다.
도 4는 본 발명의 일 실시예에 관련된 정밀지도에 포함되는 도로정보 표시 데이터를 보인 예시도로서, 상술한 바와 같이 정밀지도(또는 고정밀지도)의 경우 마커의 개수, 탄력봉의 개수 및 위치 값들이 포함되어 있기 때문에 마커나 탄력봉 정보를 알 수 있다.
따라서 증강현실로 헤드업 디스플레이(140)에 표시할 차선을 연산하기 위한 입력값으로 사용하여 실제 도로매칭의 정확도를 높일 수 있는 인자로 활용할 수 있다. 또한 상기 헤드업 디스플레이(140)에 단순히 도로의 경계선만 표시해 주는 것이 아니라, 상기 정밀지도(또는 고정밀지도) 정보를 참조하여 도로의 상황에 맞는 차선을 표시해 줄 수도 있다.
예컨대 도 4를 참조하면, 도로의 경계선을 도로의 속성(예 : 도 4의 515(주차금지), 516(정차, 주차금지), 516의2(정차, 주차금지) 등)에 따라 그 속성에 해당하는 차선을 헤드업 디스플레이(140)에 증가현실로 표시해 줄 수 있으며, 이때 도로 시설물(즉, 마커와 탈력봉)의 위치와 개수를 정합하여 도로상황에 맞는 차선(또는 경계선)을 기존보다 더 정확하게 표시해 줄 수 있게 된다.
또한 도 6을 참조하면, 정밀지도(또는 고정밀지도)에는 과속방지턱에 대한 정보도 포함되어 있다. 따라서 제어부(130)는 차량이 과속방지턱을 넘을 때 입력되는 신호(예 : TPMS 센서, 스마트 헤드램프, ESC, G 센서 등으로부터 발생되는 신호)에 의해 과속방지턱을 넘는 것을 알 수 있고, 지도 데이터와 과속방지턱의 위치를 보정하여 도로 상에서의 현재의 위치를 정확히 보정할 수 있다.
또한 정밀지도(또는 고정밀지도)에는 도로의 고저, 차선너비, 신호등 위치, 마커의 위치 및 개수 정보를 포함하고 있으므로, 제어부(130)는 상기 정보를 이용하여 급 커브시 도로 위에 설치된 마커나 탄력봉의 위치와 운전 중인 차량의 위치를 거리계산을 통해 오차범위 내에서 산출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 도로 시설물 정보를 이용한 차선 표시 방법을 설명하기 위한 흐름도이다.
도 3에 도시된 바와 같이, 상기 제어부(130)는 차량에 장착되어 있는 적어도 하나 이상의 센서(예 : LIDAR 센서)를 포함하는 센서부(120)와 카메라부(110)로부터 검출된 정보를 입력받는다(S101).
상기 제어부(130)는 상기 센서부(120)와 카메라부(110)로부터 검출된 센서 정보를 이용하여 도로 시설물(예 : 마커, 탄력봉)을 인식한다(S102).
예컨대 상기 센서부(120)와 카메라부(110)로부터 검출된 센서 정보를 이용하여 도로 시설물(예 : 마커, 차선)의 위치, 개수, 및 간격을 인식한다.
이때 상기 인식된 도로 시설물(예 : 마커, 차선)은, 연속된 라인 형태로 검출되는 것이 아니라, 도 6에 도시된 바와 같이, 일정한 간격의 점들로 인식된다.
이에 따라 상기 제어부(130)는 상기 점의 형태로 인식된 도로 시설물(예 : 마커, 차선)을 연장한다(S103).
이와 함께, 상기 제어부(130)는 상기 검출된 도로 시설물(예 : 마커, 차선)을 기준으로 차선을 산출하여 헤드업 디스플레이(AR-HUD)(140)에 증강현실로 표시한다(S106).
이때 상기 도로 시설물(예 : 마커, 차선) 정보에 의해서만 산출된 차선은 정확도가 떨어지기 때문에 저장부(150)에 저장되어 있는 정밀지도(또는 고정밀지도) 정보를 정합하고(S104), 여기에 더하여 내비게이션 정보를 추가로 정합하여 차선을 산출한다(S105).
따라서 본 실시예는 상기 센서부(120) 및 카메라부(110)를 통해 검출되는 차선, 마커, 탄력봉 정보, 상기 저장부(150)에 저장되어 있는 정밀지도(또는 고정밀지도) 정보, 및 내비게이션 정보를 정합하여 기존보다 더 정확한 차선을 산출하고, 상기 산출된 차선을 증강현실로 헤드업 디스플레이(AR-HUD)(140)에 표시한다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
110 : 카메라부 120 : 센서부
130 : 제어부 131 : 차선 인식부
132 : 차선 연장부 133 : 위치 및 자세 추정부
134 : 내비게이션 정보 정합부 140 : 헤드업 디스플레이

Claims (11)

  1. 헤드업 디스플레이;
    차선 상에 설치된 도로 시설물을 검출하는 센서부;
    차선 상에 설치된 도로 시설물을 검출하는 카메라부; 및
    상기 센서부와 카메라부를 통해 검출된 도로 시설물 정보를 처리하여 차선을 추정하고, 상기 추정된 차선 정보에 상기 센서부나 카메라부 중 적어도 하나 이상을 이용해 검출된 차선 정보를 정합하여 상기 추정된 차선 정보를 보정하고, 상기 보정된 차선을 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 제어부;를 포함하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 장치.
  2. 제 1항에 있어서, 상기 제어부는,
    상기 인식된 도로 시설물 정보를 연결하여 차선 형태로 생성하여 차선을 추정하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 장치.
  3. 제 1항에 있어서, 상기 제어부는,
    상기 도로 시설물 정보를 연결하여 차선을 추정하기 위하여,
    특정 색상을 가지며 기준 조도 이상의 빛을 발광하거나 반사하는 동일한 도로 시설물을 검출하고, 그 도로 시설물이 설치된 간격과 위치를 산출하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 장치.
  4. 제 1항에 있어서, 상기 도로 시설물은,
    스스로 발광하거나 차량의 헤드라이트 빛을 반사하는 반사체가 부착된 마커 또는 탄력봉 중 적어도 하나를 포함하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 장치.
  5. 제 1항에 있어서, 상기 제어부는,
    상기 보정된 차선에 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선을 산출하여 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 장치.
  6. 제 5항에 있어서, 상기 제어부는,
    상기 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선에, 내비게이션 정보를 정합하여 추가로 보정된 차선을 산출하여, 이를 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 장치.
  7. 제어부가 센서부를 통해 차선 상에 설치된 도로 시설물을 검출하는 단계;
    상기 제어부가 카메라부를 통해 차선 상에 설치된 도로 시설물을 검출하는 단계:
    상기 제어부가 상기 센서부와 카메라부를 통해 검출된 도로 시설물 정보를 처리하여 차선을 추정하는 단계; 및
    상기 제어부가 상기 추정된 차선에 상기 센서부나 카메라부 중 적어도 하나 이상을 이용해 검출된 차선 정보를 정합하여 상기 추정된 차선을 보정하고, 상기 보정된 차선을 상기 헤드업 디스플레이 화면을 통해 증강현실로 표시하는 단계;를 포함하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 방법.
  8. 제 7항에 있어서,
    상기 도로 시설물 정보를 처리하여 차선을 추정하는 단계에서,
    상기 제어부는,
    상기 인식된 도로 시설물 정보를 연결하여 차선 형태로 생성하여 차선을 추정하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 방법.
  9. 제 7항에 있어서, 상기 도로 시설물은,
    스스로 발광하거나 차량의 헤드라이트 빛을 반사하는 반사체가 부착된 마커 또는 탄력봉 중 적어도 하나를 포함하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 방법.
  10. 제 7항에 있어서, 상기 추정된 차선을 보정하는 단계 이후,
    상기 제어부는,
    상기 보정된 차선에 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 방법.
  11. 제 10항에 있어서, 상기 추가로 보정된 차선을 산출하는 단계 이후,
    상기 제어부는,
    상기 정밀지도나 고정밀지도 정보를 정합하여 추가로 보정된 차선에, 내비게이션 정보를 정합하여 추가로 보정된 차선을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 도로 시설물 정보를 이용한 차선 표시 방법.
KR1020150170960A 2015-12-02 2015-12-02 도로 시설물 정보를 이용한 차선 표시 장치 및 방법 KR20170065083A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150170960A KR20170065083A (ko) 2015-12-02 2015-12-02 도로 시설물 정보를 이용한 차선 표시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150170960A KR20170065083A (ko) 2015-12-02 2015-12-02 도로 시설물 정보를 이용한 차선 표시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170065083A true KR20170065083A (ko) 2017-06-13

Family

ID=59218809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170960A KR20170065083A (ko) 2015-12-02 2015-12-02 도로 시설물 정보를 이용한 차선 표시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170065083A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109204144A (zh) * 2018-11-09 2019-01-15 椤圭ズ 一种车辆周围景象的虚拟现实显示系统及方法
WO2021080182A1 (ko) * 2019-10-24 2021-04-29 네이버랩스 주식회사 주행 정보 안내 방법 및 시스템
KR20210063720A (ko) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 정밀지도 생성 시스템
EP3893150A1 (en) * 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
KR20220056264A (ko) * 2020-10-27 2022-05-06 한국자동차연구원 차선 표시 시스템 및 방법
US11573095B2 (en) 2017-08-22 2023-02-07 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
KR102538104B1 (ko) * 2022-06-17 2023-05-31 한국건설기술연구원 라이다 검지형 도로 시설물
US11740093B2 (en) 2018-02-14 2023-08-29 Tusimple, Inc. Lane marking localization and fusion
US11852498B2 (en) 2018-02-14 2023-12-26 Tusimple, Inc. Lane marking localization

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11874130B2 (en) 2017-08-22 2024-01-16 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11573095B2 (en) 2017-08-22 2023-02-07 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11740093B2 (en) 2018-02-14 2023-08-29 Tusimple, Inc. Lane marking localization and fusion
US11852498B2 (en) 2018-02-14 2023-12-26 Tusimple, Inc. Lane marking localization
CN109204144A (zh) * 2018-11-09 2019-01-15 椤圭ズ 一种车辆周围景象的虚拟现实显示系统及方法
WO2021080182A1 (ko) * 2019-10-24 2021-04-29 네이버랩스 주식회사 주행 정보 안내 방법 및 시스템
KR20210049247A (ko) * 2019-10-24 2021-05-06 네이버랩스 주식회사 주행 정보 안내 방법 및 시스템
US12017531B2 (en) 2019-10-24 2024-06-25 Naver Labs Corporation Travel notification method and system including a head-up display that displays the trajectory of a vehicle
KR20210063720A (ko) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 정밀지도 생성 시스템
US11810322B2 (en) 2020-04-09 2023-11-07 Tusimple, Inc. Camera pose estimation techniques
EP3893150A1 (en) * 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
KR20220056264A (ko) * 2020-10-27 2022-05-06 한국자동차연구원 차선 표시 시스템 및 방법
KR102538104B1 (ko) * 2022-06-17 2023-05-31 한국건설기술연구원 라이다 검지형 도로 시설물

Similar Documents

Publication Publication Date Title
KR20170065083A (ko) 도로 시설물 정보를 이용한 차선 표시 장치 및 방법
US11851085B2 (en) Navigation and mapping based on detected arrow orientation
US11755024B2 (en) Navigation by augmented path prediction
US11679760B2 (en) Navigation in vehicle crossing scenarios
US20220333927A1 (en) Ego motion correction of lidar output
US20220383545A1 (en) Crowd-sourced 3d points and point cloud alignment
US10964217B2 (en) Travel control method and travel control apparatus
CN109927721B (zh) 车道维持追随系统
TWM558927U (zh) 車道維持追隨系統
US20230106644A1 (en) Systems and methods for detecting vehicle wheel slips
JP2023519940A (ja) 車両をナビゲートするための制御ループ
KR20190064228A (ko) 이미지 센싱을 이용한 차선 정보 제공 장치, 차선 정보 제공 방법 및 이를 이용한 차량 제어 방법
KR20230071614A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071615A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071924A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071610A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071612A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071922A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071611A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071609A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071613A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071920A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071607A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071923A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071608A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment