KR102441075B1 - 노면표시기반 차량의 위치추정 방법 및 장치 - Google Patents
노면표시기반 차량의 위치추정 방법 및 장치 Download PDFInfo
- Publication number
- KR102441075B1 KR102441075B1 KR1020170144279A KR20170144279A KR102441075B1 KR 102441075 B1 KR102441075 B1 KR 102441075B1 KR 1020170144279 A KR1020170144279 A KR 1020170144279A KR 20170144279 A KR20170144279 A KR 20170144279A KR 102441075 B1 KR102441075 B1 KR 102441075B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- road marking
- road
- image
- location
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000000605 extraction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/42—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Navigation (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
본 발명은 차량의 전방의 노면표시의 영상을 획득하는 카메라부와, 차량의 위치를 측정하는 위치측정부와, 정밀지도 및 노면표시 영상 데이터베이스가 저장된 저장부 및 상기 차량의 위치로부터 소정범위내의 노면표시정보를 상기 정밀지도로부터 획득하는 제1동작을 수행하고, 상기 카메라부에서 획득된 노면표시 영상으로부터 상기 노면표시를 인식하는 제2동작을 수행하고, 상기 노면표시를 최초로 인식하여 차량의 위치를 초기위치로 설정하고, 상기 초기위치로부터 소정거리를 주행하는 동안 상기 제1동작 및 상기 제2동작을 통하여 다른 노면표시가 인식된 경우, 상기 다른 노면표시를 기반으로 상기 위치측정부에서 측정된 상기 차량의 위치를 보정하여 차량의 위치를 판단하는 제3동작을 수행하는 제어부를 포함하여, 자율주행 차량에서 노면표시를 인식하고, 이를 기반으로 현재의 차량의 위치를 판단함으로써, 보다 정밀한 위치 추정이 가능하다. 또한, 지도에서 노면표시가 존재하는 경우에만 노면표시가 인식되므로, 고성능의 하드웨어 없이도 노면인식이 가능하다. 또한, 노면표시의 종류를 이용하여 현재 주행상황을 판단할 수 있다.
Description
본 발명은 노면표시기반 차량의 위치추정 방법 및 장치에 관한 것으로, 전방의 영상, 차량정보, GPS 정보를 이용하여 노면표시를 인식하고, 인식된 결과를 활용하여 주행중인 차량의 위치를 추정하는 노면표시기반 차량의 위치추정 방법 및 장치에 관한 것이다.
최근 지능형 자동차에 대한 연구가 활발히 이루어지고 있으며, 지능형 자동차 기술 중 하나로 차량 사고를 방지하기 위해 개발된 운전자 보조 시스템(Driving Assistant System)이 있다. 운전자 보조 시스템(Driving Assitant System)으로는 차선이탈방지 시스템(Lane Departure Warning System), 차량충돌방지 시스템(Forward Collision Warning System), 보행자 충돌방지 시스템(Pedestrian Collsion Warning System) 등이 있으며, 영상인식 기술을 통해 개발되어 각종 차량 사고를 줄이는데 사용되고 있다.
차선, 차량, 보행자는 운전자 보조시스템의 차량 사고 방지를 위한 대표적인 검출 대상이며, 근래에는, 횡단보도와 같은 도로노면표시 또한 사고 방지를 위한 중요 인지 대상으로서 여겨지게 되어 도로노면표시에 대한 인식 기술이 요구되고 있다. 또한, 차량의 운행 중에 차량이 주행중인 차로에서 벗어나지 않도록, 즉 차로 이탈을 하지 않고 해당 주행 차로를 계속 유지하도록 하고, 차량의 현재위치를 보다 정확하게 추정하기 위하여 도로노면표시를 이용하여 차량의 위치를 추정하는 기술이 제안되었다.
종래 기술에 따른 도로노면표시를 이용하여 차량의 위치를 추정하는 기술은 차량의 전방영상에서 전방 차선을 인식하여 차로표시 검출을 위한 관심영역을 선정하고, 관심영역 내에서 영상의 밝기 값 분포를 이용하여 노면표시를 인지하는 기술이다.
그러나, 종래 기술에 따르면 노면표시까지 실제 거리에 대한 정보를 알 수 없고, 노면표시의 너비를 정확하게 파악할 수 없어 검출된 노면표시결과만으로는 정확한 차량의 위치를 추정하는데 어려움이 있다. 또한, 차선이 없는 경우 또는 차선을 찾지 못하는 경우에는 노면표시를 찾을 수 없는 한계가 있다.
본 발명은 상술한 한계점을 극복하기 위한 것으로, 전방영상을 통하여 차선의 정보가 없는 경우에도 노면표시 인식이 가능하고, 노면표시 기반으로 차량의 위치 추정 방법 및 장치를 제공하고자 하는 목적이 있다.
본 발명의 노면표시기반 차량의 위치추정 장치는 차량의 전방의 노면표시의 영상을 획득하는 카메라부와, 차량의 위치를 측정하는 위치측정부와 ,정밀지도 및 노면표시 영상 데이터베이스가 저장된 저장부 및 상기 차량의 위치로부터 소정범위내의 노면표시정보를 상기 정밀지도로부터 획득하는 제1동작을 수행하고, 상기 카메라부에서 획득된 노면표시 영상으로부터 상기 노면표시를 인식하는 제2동작을 수행하고, 상기 노면표시를 최초로 인식하여 차량의 위치를 초기위치로 설정하고, 상기 초기위치로부터 소정거리를 주행하는 동안 상기 제1동작 및 상기 제2동작을 통하여 다른 노면표시가 인식된 경우, 상기 다른 노면표시를 기반으로 상기 위치측정부에서 측정된 상기 차량의 위치를 보정하여 차량의 위치를 판단하는 제3동작을 수행하는 제어부를 포함하는 것을 특징으로 한다.
그리고, 상기 제어부의 상기 제1동작은 상기 위치측정부에서 측정된 차량의 위치를 기반으로 상기 노면표시의 헤딩값을 추출하고, 상기 노면표시의 헤딩값과 상기 차량의 헤딩값이 소정범위 이내인 경우, 상기 차량의 전방에 노면표시가 존재하는 것으로 판단하는 것을 포함한다.
그리고, 상기 제어부의 상기 제1동작은 상기 노면표시의 헤딩값을 상기 차량으로부터 가장 가까운 상기 노면표시의 일측점과 가장 먼 상기 노면표시의 타측점 사이의 각도를 기반으로 추출하는 것을 특징으로 한다.
그리고, 상기 제어부는 상기 제1동작을 수행하여, 상기 노면표시의 종류, 상기 노면표시의 높이 및 너비, 상기 노면표시의 헤딩값 및 상기 차량의 헤딩값 차이, 및 상기 노면표시의 위치 정보를 획득하는 것을 특징으로 한다.
그리고, 상기 제어부의 상기 제2동작은 상기 노면표시 영상 데이터베이스와 상기 카메라로부터 획득된 노면표시 영상을 탬플릿 매칭을 수행하여 매칭여부를 판단하는 것을 포함한다.
그리고, 상기 제어부의 제2동작은 상기 정밀지도로부터 획득된 상기 노면표시의 크기 및 상기 헤딩값 차이를 기반으로 계산한 미터단위의 크기를 영상의 화소(pixel) 단위로 변환하는 것을 포함한다.
그리고, 상기 제어부의 제2동작은 상기 노면표시의 헤딩값과 상기 차량의 헤딩값의 차이를 이용하여 회전각도를 획득하고, 상기 회전각도를 기반으로 상기 노면표시 영상 데이터베이스의 노면표시영상을 회전시켜 상기 카메라로부터 획득된 노면표시 영상과의 매칭여부를 판단하여, 매칭되면 상기 노면표시가 인식된 것으로 판단하는 것을 포함한다.
그리고, 상기 제어부의 제2동작은 상기 카메라로부터 획득된 노면표시의 영상과 상기 차량과의 거리를 계산하는 것을 포함한다.
그리고, 상기 제어부의 제3동작은 상기 제2동작을 수행하여 계산된 거리를 기준으로, 상기 위치측정부로부터 측정된 차량의 종방향 위치를 보정하는 것을 포함한다.
그리고, 상기 제어부의 제3동작은 상기 카메라로 획득된 영상의 중앙에 상기 노면표시의 중심이 위치하도록 변환하고, 상기 노면표시의 중심 좌표의 X값과 상기 차량의 중심좌표의 X값이 일치하도록 횡방향 위치를 보정하는 것을 포함한다.
본 발명의 노면표시 기반 차량의 위치추정 방법은 차량의 현재위치의 소정범위 내에 존재하는 노면표시정보를 정밀지도로부터 획득하는 제1단계와, 상기 노면표시정보를 기반으로 카메라로 획득된 영상으로부터 상기 노면표시를 인식하는 제2단계와, 상기 노면표시를 최초로 인식한 때의 상기 차량의 위치를 차량의 초기위치로 설정하는 제3단계 및 상기 차량의 초기위치가 설정된 것으로 판단되고, 상기 차량의 초기위치로부터 소정거리를 주행하는 동안 상기 제1단계 및 상기 제2단계를 통하여 다른 노면표시가 인식된 경우, 상기 다른 노면표시를 기반으로 차량의 위치를 추정하는 제4단계를 포함하는 것을 특징으로 한다.
그리고, 상기 제1단계는 GPS에서 측정된 차량의 위치를 기반으로 상기 노면표시의 헤딩값을 추출하는 단계 및 상기 노면표시의 헤딩값과 상기 차량의 헤딩값이 소정범위 이내인 경우, 상기 차량의 전방에 노면표시가 존재하는 것으로 판단하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 노면표시의 헤딩값을 추출하는 단계는 상기 차량으로부터 가장 가까운 상기 노면표시의 일측점과 가장 먼 상기 노면표시의 타측점 사이의 각도를 기반으로 추출하는 것을 특징으로 한다.
그리고, 상기 제1단계 이후, 상기 노면표시의 종류, 상기 노면표시의 높이 및 너비, 상기 노면표시의 헤딩값 및 상기 차량의 헤딩값 차이, 및 상기 노면표시의 위치 정보를 획득하는 단계를 더 포함하는 것을 특징으로 한다.
그리고, 상기 제2단계는 상기 노면표시 영상 데이터베이스와 상기 카메라로부터 획득된 노면표시 영상을 탬플릿 매칭을 수행하여 매칭여부를 판단하는 단계를 포함한다.
그리고, 상기 제2단계는 상기 정밀지도로부터 획득된 상기 노면표시의 크기 및 상기 헤딩값 차이를 기반으로 계산한 미터단위의 크기를 영상의 화소(pixel) 단위로 변환하는 단계를 포함한다.
그리고, 상기 제2단계는 상기 노면표시의 헤딩값과 상기 차량의 헤딩값의 차이를 이용하여 회전각도를 획득하는 단계와, 상기 회전각도를 기반으로 상기 노면표시 영상 데이터베이스의 노면표시영상을 회전시켜 상기 카메라로부터 획득된 노면표시 영상과의 매칭여부를 판단하는 단계와, 매칭되면 상기 노면표시가 인식된 것으로 판단하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 제2단계는 상기 카메라로부터 획득된 노면표시의 영상과 상기 차량과의 거리를 계산하는 단계를 포함한다.
그리고, 상기 제4단계는 상기 제2단계를 수행하여 계산된 거리를 기준으로, 상기 위치측정부로부터 측정된 차량의 종방향 위치를 보정하는 것을 포함한다.
그리고, 상기 제4단계는 상기 카메라로 획득된 영상의 중앙에 상기 노면표시의 중심이 위치하도록 변환하고, 상기 노면표시의 중심 좌표의 X값과 상기 차량의 중심좌표의 X값이 일치하도록 횡방향 위치를 보정하는 단계를 포함한다.
본 발명에서는 자율주행 차량에서 노면표시를 인식하고, 이를 기반으로 현재의 차량의 위치를 판단함으로써, 보다 정밀한 위치 추정이 가능하다. 또한, 지도에서 노면표시가 존재하는 경우에만 노면표시가 인식되므로, 고성능의 하드웨어 없이도 노면인식이 가능하다. 또한, 노면표시의 종류를 이용하여 현재 주행상황을 판단할 수 있다.
도 1은 본 발명의 노면표시기반 차량의 위치추정 장치를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 노면표시 영상 데이터베이스의 노면표시를 나타낸 도면이다.
도 3A 내지 도 3C는 본 발명의 실시예에 따른 노면표시와 이에 대응되는 노면표시 영상 데이터베이스의 이미지를 나타낸 도면이다.
도 5는 본 발명에 따라 차량의 위치를 보정하는 실시예를 나타낸 도면이다.
도 6은 본 발명에 따라 노면표시의 기준점을 설정하는 실시예를 나타낸 도면이다.
도 7은 본 발명에 따라 정밀지도내에서 노면표시 정보를 획득하는 동작을 나타내는 순서도이다.
도 8은 본 발명의 노면표시를 인식하는 동작을 나타내는 흐름도이다.
도 9는 본 발명의 차량의 위치를 추정하는 동작을 나타낸 흐름도이다.
도 10은 도 9의 노면표시를 기반으로 차량의 위치를 추정하는 단계를 나타낸 흐름도이다.
도 2는 본 발명의 실시예에 따른 노면표시 영상 데이터베이스의 노면표시를 나타낸 도면이다.
도 3A 내지 도 3C는 본 발명의 실시예에 따른 노면표시와 이에 대응되는 노면표시 영상 데이터베이스의 이미지를 나타낸 도면이다.
도 5는 본 발명에 따라 차량의 위치를 보정하는 실시예를 나타낸 도면이다.
도 6은 본 발명에 따라 노면표시의 기준점을 설정하는 실시예를 나타낸 도면이다.
도 7은 본 발명에 따라 정밀지도내에서 노면표시 정보를 획득하는 동작을 나타내는 순서도이다.
도 8은 본 발명의 노면표시를 인식하는 동작을 나타내는 흐름도이다.
도 9는 본 발명의 차량의 위치를 추정하는 동작을 나타낸 흐름도이다.
도 10은 도 9의 노면표시를 기반으로 차량의 위치를 추정하는 단계를 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 자율주행 차량에서 노면표시를 기반으로 차량의 위치를 추정하는 기술이다. 차량의 위치를 추정하는 것은 GPS와 같은 위치 측정장치로도 가능하다. 그러나 본 발명에서는 보다 정밀한 차량의 위치를 추정하기 위하여 노면표시를 기반으로 차량의 위치를 추정하는 기술을 제공한다. 본 발명에서는 GPS를 기반으로 차량의 위치를 추정하다가 차량이 노면표시를 인식한 이후부터 노면표시를 기반으로 차량의 위치를 추정하도록 할 수 있다. 본 발명에서는 노면표시의 정보를 정밀지도로부터 획득한 후, 이를 기반으로 카메라를 통하여 차량의 전방에 존재하는 노면표시를 최초로 인식한 때의 차량의 위치를 차량의 초기위치로 설정하고, 차량의 초기위치가 설정된 후, 소정거리를 주행하면서 노면표시를 인식한 경우, 인식한 노면표시를 기반으로 현재의 차량의 위치를 판단하는 장치 및 방법을 제공한다.
이하에서는 도 1을 참조하여, 본 발명의 노면표시기반 차량의 위치추정 장치를 설명한다.
도 1을 참조하면, 본 발명의 노면표시기반 차량의 위치추정 장치는 카메라(10), 위치측정부(20), 저장부(30), 제어부(40) 및 출력부(50)를 포함할 수 있다.
카메라(10)는 차량 전방의 도로를 촬영하여 영상정보를 생성할 수 있다. 이때, 영상정보는 차량 전방의 도로를 촬영한 이미지, 또는 동영상 등을 포함할 수 있다. 실시예에 따르면 카메라(10)는 차량 전방의 노면영상을 획득할 수 있는 각도로 차량의 전방에 구비될 수 있다. 또 다른 실시예에 따르면, 카메라는 전후방 카메라, 우측방 카메라, 좌측방 카메라를 포함하여, 전후방 카메라 영상, 우측방 카메라 영상 및 좌측방 카메라 영상을 획득할 수 있다. 제어부(40)는 전후방 카메라 영상, 우측방 카메라 영상 및 좌측방 카메라 영상을 합성하여, 차량 주변의 영상을탑뷰 영상으로 생성할 수 있다.
위치측정부(20)은 GPS(Global Positioning System)를 포함하여 인공위성을 통해 차량의 위치를 파악할 수 있다.
저장부(30)는 노면표시 정보를 포함하는 정밀지도를 저장할 수 있다. 또한, 노면표시 영상 데이터베이스를 저장할 수 있다. 노면표시 영상 데이터베이스는 도 2에 도시된 바와 같이, 직진표시, 좌회전표시, 우회전표시, 직좌회전표시, 직우회전표시, 유턴표시, 횡단보도예고 표시 및 양보표시의 정보들을 포함할 수 있다. 이에 한정되는 것은 아니고, 도료교통의 안전을 위하여 각종 주의, 규제, 지시 등의 내용을 노면에 기호, 문자 또는 선으로 도로사용자에게 알리는 표시의 정보들을 포함할 수 있다.
제어부(40)는 노면표시기반 차량의 위치 추정장치의 전반적인 동작을 제어할 수 있다. 제어부(40)는 자율주행차량의 ECU(Electric Control Unit)를 포함할 수 있다. 제어부(40)는 정밀지도 내의 노면표시의 정보 및, 카메라(10)로 촬영된 노면표시의 정보를 기반으로 차량의 위치를 추정할 수 있다. 이하에서는 제어부(40)가 수행하는 동작을 1. 정밀지도 내에서 노면표시의 정보를 획득하는 동작, 2. 정밀지도 내에서 획득된 노면표시의 정보 및 카메라(10)로 촬영된 노면표시의 정보를 기반으로 노면표시를 인식하는 동작, 3. 차량의 위치를 추정하는 동작으로 나누어 설명한다.
1. 정밀지도내에서 노면표시 정보를 획득하는 동작
제어부(40)는 정밀지도 내의 노면표시 정보를 획득하기 위하여, GPS 기반으로 하여 현재의 위도 및 경도 좌표, 차량 내부 정보에 해당하는 헤딩 정보, 차속정보 및 정밀지도를 확인할 수 있다. 정밀지도에는 노면표시의 종류, 노면표시 위치 및 노면표시 ID 등의 노면표시 관련 정보들이 포함되어 있을 수 있다.
실시예에 따르면, 제어부(40)는 노면표시가 화살표인 경우, 화살표를 사각형 모양에 맞추고, 사각형의 네 모서리의 위치를 기반으로 화살표 모양의 노면표시의 위치 정보를 확인할 수 있다. 또한, 노면표시가 역삼각형과 마름모 모양인 경우, 모양의 모서리의 위치를 기반으로 노면표시의 위치 정보를 확인할 수 있다. 이를 기반으로 노면표시의 기준좌표 및 노면표시의 높이와 너비를 포함하는 크기정보를 확인할 수 있다. 여기서, 노면표시의 기준좌표는 노면표시의 중심점이 될 수 있다. 정밀지도상의 좌표는 글로벌좌표(UTM 좌표)가 사용될 수 있다.
제어부(40)는 GPS 기반의 현재 차량의 위치를 기준으로 정밀지도상의 소정범위 내의 노면표시를 획득한다. 그리고, 제어부(40)는 차량의 위치를 기반으로 소정범위 내의 획득된 노면표시의 헤딩값을 추출한다. 노면표시의 헤딩값은 차량으로부터 가장가까운 노면표시의 일측점과 가장 먼 노면표시의 타측점 사이의 각도를 의미할 수 있다. 실시예에 따르면 다음과 같이 추출될 수 있다. 예를들어, 정밀지도상의 마름모 모양의 노면표시가 있는 경우, 마름모의 모서리를 연장하여 사각형을 만들고, 사각형의 네 모서리의 위치를 기반으로 마름모의 모양의 노면표시 위치정보를 확인할 수 있다. 사각형 각 선분의 중간점을 추출하여 차량으로부터 가장 가까운 점과 가장 먼 점을 추출한다. 여기서, 가장 가까운 점과 가장 먼 점의 각도를 노면표시의 헤딩값으로 추출할 수 있다.
제어부(40)는 정밀지도 내에서 추출된 노면표시의 헤딩값과 차량의 위치를 기준으로 노면표시의 위치를 변환할 수 있다. 예를들면, 현재의 차량위치를 (0.0) 지정하고, 각 노면표시의 위치정보를 차량의 현재위치만큼 빼 노면표시의 상대위치를 변환하고, 차량의 헤딩값은 0으로 변환할 수 있다. 차량의 위치를 기준으로 노면표시의 위치를 변환하면, 헤딩값도 변환될 수 있다. 예를들면, 차량의 헤딩값이 90도이고, 노면표시의 헤딩값이 91도라고 하면, 좌표변환된 경우, 차량의 헤딩값은 0도가 되고, 노면표시의 헤딩값은 1도가 될 수 있다. 즉, 차량의 헤딩값과 노면표시의 헤딩값 차이가 1도가 될 수 있다. 이와 같이, 차량의 헤딩값과 노면표시의 헤딩값의 차이가 소정범위 이내인 경우, 제어부(40)는 전방에 노면표시가 존재한다고 판단할 수 있다.
제어부(40)는 정밀지도상에서 전방에 노면표시가 존재한다고 판단한 경우, 전방에 존재하는 노면표시의 정보 즉, 노면표시의 헤딩값과 차량의 헤딩값 차이, 노면표시의 종류, 노면표시의 크기(높이, 너비), 노면표시의 위치 등의 정보를 저장부(30)에 저장된 정밀지도로부터 획득할 수 있다.
2. 노면표시를 인식하는 동작
제어부(40)는 정밀지도로부터 획득된 노면표시의 정보를 기반으로 노면표시 영상 데이터베이스와 카메라(10)로부터 획득된 노면표시의 유사성을 판단할 수 있다. 보다 자세하게는 정밀지도로부터 획득된 노면표시의 크기 및 헤딩값 차이 등의 정보를 기반으로 계산한 크기정보(미터단위)를 영상의 화소(pixel) 단위로 변환할 수 있다. 그리고, 영상의 화소단위로 변환된 노면표시의 크기 기반으로 영상 데이터베이스와의 유사성을 판단할 수 있다. 또한, 제어부(40)는 정밀지도에서 획득한 노면표시의 헤딩값과 자차의 헤딩값의 차이를 이용하여 회전각도를 획득할 수 있다. 회전각도를 기반으로 영상 데이터베이스의 노면표시영상을 회전시켜 카메라로부터 획득된 노면표시와 영상 데이터베이스의 유사성을 판단할 수 있다.
제어부(40)는 카메라(10)로부터 획득된 영상을 탑뷰로 변환하여, 차량의 전방에 관심영역을 설정하고, 탬플릿 매칭(template matching)인 Normalized Coefficient 방식을 기반으로 영상 데이터베이스의 정보와 카메라로부터 획득된 탑뷰 영상의 유사성을 판단할 수 있다. 템플릿 매칭은 0~1 사이의 확률값을 가지며, 유사성이 높을수록 1에 가까운 값을 갖게된다. 제어부(40)는 유사성이 판단된 경우, 노면표시가 인식된 것으로 판단할 수 있다.
예를들어, 제어부(40)는 정밀지도로부터 획득된 노면표시의 모양이 화살표이고, 탑뷰 영상 내에서 2개 이상 포함된 노면표시가 제1화살표모양, 제2화살표모양(예를들면, 좌회전표시와 유턴표시가 동시에 존재하는 경우, 도 3A 참조)인 경우, 순차적으로 화살표 모양의 유사성을 판단할 수 있다. 이를 위하여, 제어부(40)는 제1화살표 모양의 탑뷰 영상과 영상 데이터베이스(도 3B)의 템플릿 매칭이 성공한 경우, 전방에서 좌회전표시가 인식된 것으로 판단할 수 있다. 제어부(40)는 제1화살표 모양이 인식된 위치를 중심으로 제2화살표모양(유턴화살표표시)을 새로운 관심영역으로 설정하고 영상 데이터베이스(도 3C)를 기반으로 유사성검토를 수행할 수 있다. 이때, 영상 데이터베이스(도 3C)와 제2화살표모양의 매칭이 성공한 경우, 전방에서 좌회전표시와 유턴표시가 모두 인식된 것으로 판단할 수 있다.
제어부(40)는 노면표시가 인식된 경우, 노면표시의 크기와 너비의 정보를 이용하여 노면표시의 전체 크기에 해당하는 영상의 위치를 결정할 수 있다. 예를들면, 화살표의 경우 화살표를 사각형 모양에 맞추고, 가장 왼쪽 끝 모서리를 기준으로 크기와 너비 정보를 영상에 적용하여 노면표시 검출영역을 설정할 수 있다.
제어부(40)는 정밀지도상에서 존재하는 노면표시의 정보 및 검출된 노면표시정보를 비교하되, 차량과의 횡방향차이가 임계값 이상인 경우, 검출된 노면표시 정보를 제외하여, 노면표시의 인식의 오류를 줄이도록 할 수 있다.
제어부(40)는 영상 내에서 노면표시가 인식된 경우, 카메라(10)로부터 획득된 영상을 기반으로 차량으로부터 노면표시까지의 거리를 계산할 수 있다. 실시예에 따르면, 도 4에 도시된 바와 같이, 카메라 영상의 뷰변환 과정에서 영상의 전방에 거리측정을 위한 보드를 놓고, 한 화소별로 거리를 계산할 수 있다. 인식된 노면표시의 종방향 거리(차량과 노면표시와의 거리)를 측정하기 위해 인식된 노면표시의 상단의 화소 위치를 확인할 수 있다. 확인된 화소의 위치를 거리값으로 변환하여, 노면표시와 차량과의 거리를 계산할 수 있다.
제어부(40)는 노면표시가 인식된 경우, 노면표시의 종류, 노면표시의 크기(높이, 너비), 정밀지도내의 ID, 차량과 노면표시까지의 거리 정보를 기반으로 차량의 위치를 추정할 수 있다.
3. 차량의 위치를 추정하는 동작
제어부(40)는 차량의 주행이 시작된 후, 노면표시를 인식하지 못한 경우, GPS 기반으로 차량의 위치를 추정할 수 있다. 제어부(40)는 차량의 주행중, 상기의 1, 2 동작을 통하여 다른 노면표시를 인식한 경우, 노면표시 기반의 위치추정 알고리즘을 기반으로 차량의 위치를 추정할 수 있다. 최초로 노면표시를 인식한 때의 차량의 위치를 차량의 초기위치로 설정한다.
제어부(40)는 차량의 초기 위치가 설정되었고, 차량이 초기 위치로부터 소정 거리를 주행하는 동안 노면표시가 인식되지 않은 경우, 차량의 초기 위치와 차량의 주행속도를 기반으로 차량의 현재 위치를 보정할 수 있다.
한편, 제어부(40)는 차량의 초기 위치가 설정되었고, 차량의 초기 위치로부터 소정거리를 주행하는 동안 노면표시가 인식된 경우, 노면표시 기반의 위치추정 알고리즘을 기반으로 차량의 위치를 추정할 수 있다.
노면표시 기반의 위치추정 알고리즘은 다음과 같다. 현재 차량의 위치와 정밀지도 내의 인식된 노면표시위치와의 상관관계를 분석할 수 있다. 보다 자세하게는 도 5를 참조한다. 도 5에 도시된 바와 같이, 노면표시의 두개의 기준점의 중앙위치를 두 개의 기준점(X1, Y1), (X2, Y2)을 설정할 수 있다. 실시예에 따르면, 화살표, 역삼각형 및 마름모 표시의 경우 두 개의 기준점은 도 6에 도시된 바와 같이 설정할 수 있다.
(X0,Y0)은 GPS 상의 차량위치를 나타낸 것으로, (X0,Y0)와 정밀지도 상의 노면표시의 기준점의 중심까지의 거리를 직선으로 나타내고, 제어부(40)의 상기 2번 동작을 통하여 계산된 차량과 노면표시와의 거리를 비교하여 상이한지 판단한다. 이 두 거리가 상이한 경우, 현재 차량의 위치(X0,Y0)의 오차가 존재하는 것이므로 위치를 보정한다. 예를들면 도 5를 참조하면, 제어부(40)의 상기 2번 동작을 통하여 계산된 차량과 노면표시의 거리를 기준으로 차량의 종방향 위치를 (X0,Y3)로 보정할 수 있다.
차량의 횡방향위치는 전방영상의 중앙부분에 노면표시의 중심이 위치하도록 변환하고, 노면표시의 중심의 X값과 차량의 중심의 X값이 일치하도록 횡방향 위치를 X3로 보정하도록 수행된다. 따라서, 차량의 위치가 (X3,Y3)에 위치한 것으로 보정될 수 있다. 도 5에는 실시예에 따라 노면표시가 도로의 정중앙에 위치하는 것으로 도시하였지만, 실제로는 노면표시의 위치에 오차가 있으므로, X1과 X2의 위치가 전방영상에 어느 위치에 존재하는 확인하여 이를 거리값(미터)으로 변한하고, 차량의 X3값을 유추한다. 즉, X3의 값은 X1과 X2의 중간값으로 계산될 수 있다. 예로 노면표시가 전방의 한가운데 영상에 존재한다면, 노면표시의 중심위치를 기준으로 차량의 횡방향의 위치를 보정하여 차량의 위치를 추정할 수 있다.
도 7은 본 발명에 따라 정밀지도내에서 노면표시 정보를 획득하는 동작을 나타내는 순서도이다.
먼저, 정밀지도 내의 노면표시정보를 획득하고, 차량의 정보를 확인할 수 있다(S110). S110 단계에서는 GPS 기반으로 하여 현재의 위도 및 경도 좌표, 차량 내부 정보에 해당하는 헤딩 정보, 차속정보를 확인할 수 있다. 그리고, 정밀지도 내의 노면표시의 종류, 노면표시 위치 및 노면표시 ID 등의 노면표시 관련 정보를 획득할 수 있다. 실시예에 따르면, S110 단계는 노면표시가 화살표인 경우, 화살표를 사각형 모양에 맞추고, 사각형의 네 모서리의 위치를 기반으로 화살표 모양의 노면표시의 위치 정보를 확인할 수 있다. 또한, 노면표시가 역삼각형과 마름모 모양인 경우, 모양의 모서리의 위치를 기반으로 노면표시의 위치 정보를 확인할 수 있다. 이를 기반으로 노면표시의 기준좌표 및 노면표시의 높이와 너비를 포함하는 크기정보를 확인할 수 있다. 여기서, 노면표시의 기준좌표는 노면표시의 중심점이 될 수 있다. 정밀지도상의 좌표는 글로벌좌표(UTM 좌표)가 사용될 수 있다.
GPS 기반의 현재 차량의 위치를 기준으로 정밀지도상의 소정범위 내의 노면표시를 획득한다(S111). 그리고, 차량의 위치를 기반으로 소정범위 내의 획득된 노면표시의 헤딩값을 추출한다(S112). S112 단계는 노면표시의 헤딩값을 추출하기 위하여, 예를들어, 정밀지도상의 마름모 모양의 노면표시가 있는 경우, 마름모의 모서리를 연장하여 사각형을 만들고, 사각형의 네 모서리의 위치를 기반으로 마름모의 모양의 노면표시 위치정보를 확인할 수 있다. 사각형 각 선분의 중간점을 추출하여 차량으로부터 가장 가까운 점과 가장 먼 점을 추출한다. 여기서, 가장 가까운 점과 가장 먼 점의 각도를 헤딩값으로 추출할 수 있다.
정밀지도 내에서 추출된 노면표시의 헤딩값과 차량의 위치를 기준으로 노면표시의 위치를 변환할 수 있다(S113). S113 단계는 예를들면, 현재의 차량위치를 (0.0) 지정하고, 각 노면표시의 위치정보를 차량의 현재위치만큼 빼 노면표시의 상대위치를 변환하고, 차량의 헤딩값은 0으로 변환할 수 있다. 차량의 위치를 기준으로 노면표시의 위치를 변환하면, 헤딩값도 변환될 수 있다. 예를들면, 차량의 헤딩값이 90도이고, 노면표시의 헤딩값이 91도라고 하면, 좌표변환된 경우, 차량의 헤딩값은 0도가 되고, 노면표시의 헤딩값은 1도가 될 수 있다. 즉, 차량의 헤딩값과 노면표시의 헤딩값 차이가 1도가 될 수 있다.
차량의 헤딩값과 노면표시의 헤딩값의 차이가 소정범위 이내인 경우, 전방에 노면표시가 존재하는 것으로 판단한다(S114).
전방에 노면표시가 존재하는 것으로 판단하면, 전방에 존재하는 노면표시의 정보 즉, 노면표시의 헤딩값과 차량의 헤딩값 차이, 노면표시의 종류, 노면표시의 크기(높이, 너비), 노면표시와 차량과의 거리, 노면표시의 위치 등의 정보를 저장부에 저장된 정밀지도로부터 획득한다(S115).
도 8은 본 발명의 노면표시를 인식하는 동작을 나타내는 흐름도이다.
도 8에 도시된 바와 같이, 카메라로 획득한 노면표시의 영상을 탑뷰로 변환한다(S150). S150 단계는 차량의 좌,우 양측의 사이드 미러에 부착된 카메라로부터 촬영된 차량의 좌,우 양측방에 대한 영상과, 전방 카메라를 통하여 차량 전방에 대한 영상과, 전방카메라, 후방카메라 및 좌, 우 양측의 사이드 미러에 부착된 카메라로부터 획득된 영상을 합성하여 변환할 수 있다.
탑뷰로 변환된 영상 내에서 관심영역을 설정한다(S151). 관심영역의 노면표시가 화살표 모양인지 확인한다(S152). 관심영역의 노면표시가 화살표 모양인 경우(네), 해당 화살표 모양의 영상을 영상 데이터베이스로부터 호출한다(S153). 관심영역의 노면표시가 화살표가 아닌 경우(아니요), 해당 노면표시의 모양을 영상 데이트베이스에 저장한다(S154). 그리고, 정밀지도의 크기(미터단위)를 기반으로 계산된 크기정보를 영상의 화소 단위(pixel)로 변환한다(S155). 그리고, S112 단계에서 획득한 노면표시의 헤딩값과 자차의 헤딩값의 차이를 이용하여 회전각도를 획득하여, 회전각도를 기반으로 영상 데이터베이스의 노면표시영상을 회전시킨다(S156). 그리고, 템플릿 매칭을 수행하여, 카메라로부터 획득된 노면표시와 영상 데이터베이스의 유사성을 판단한다(S157).
관심영역의 화살표 모양과 영상 데이터베이스의 데이터가 매칭이 성공한 것으로 판단하면(S158), 관심영역의 화살표 모양이 2개인지 확인한다(S159). 화살표가 2개인 것으로 판단되면(네), 두개의 화살표 모양중 하나의 화살표 모양은 S158 단계에서 매칭되었으므로, 나머지 하나의 화살표 모양에 해당하는 영상을 영상 데이터베이스로부터 호출한다(S160). 그리고, 정밀지도의 크기(미터단위)를 기반으로 계산된 크기정보를 영상의 화소 단위(pixel)로 변환한다(S161). 그리고, S112 단계에서 획득한 노면표시의 헤딩값과 자차의 헤딩값의 차이를 이용하여 회전각도를 획득하여, 회전각도를 기반으로 영상 데이터베이스의 노면표시영상을 회전시킨다(S162). 그리고, 템플릿 매칭을 수행하여. 카메라로부터 획득된 노면표시와 영상 데이터베이스의 유사성을 판단한다(S163).
나머지 하나의 화살표 모양도 매칭에 성공한 것으로 판단하면(S164), 노면표시의 크기와 너비의 정보를 이용하여 노면표시의 전체 크기에 해당하는 영상의 위치를 결정할 수 있다(S165). S165 단계는 예를들면, 화살표의 경우 화살표를 사각형 모양에 맞추고, 가장 왼쪽 끝 모서리를 기준으로 크기와 너비 정보를 영상에 적용하여 노면표시 검출영역을 설정할 수 있다.
정밀지도상에서 존재하는 노면표시의 정보 및 검출된 노면표시정보를 비교하되, 차량과의 횡방향차이가 임계값 이상인 경우, 검출된 노면표시 정보를 제외하여(S166), 카메라(10)로부터 획득된 영상을 기반으로 차량으로부터 노면표시까지의 거리를 계산한다(S167). S167 단계는 실시예에 따르면, 도 4에 도시된 바와 같이, 카메라 영상의 뷰변환 과정에서 영상의 전방에 거리측정을 위한 보드를 놓고, 한 화소별로 거리를 계산하도록 수행될 수 있다. 인식된 노면표시의 종방향 거리(차량과 노면표시와의 거리)를 측정하기 위해 인식된 노면표시의 상단의 화소 위치를 확인할 수 있다. 확인된 화소의 위치를 거리값으로 변환하여, 노면표시와 차량과의 거리를 계산할 수 있다.
도 9는 본 발명의 차량의 위치를 추정하는 동작을 나타낸 흐름도이다.
도 9에 도시된 바와 같이, 차량의 초기 위치가 설정되었는지 확인한다(S210). S210 단계는 도 7 및 도 8의 동작의 흐름을 통하여 최초로 노면표시를 인식한 때의 차량의 위치를 추정한 경우를 차량의 초기 위치가 설정된 것으로 판단할 수 있다.
S210 단계에서 차량의 초기 위치가 설정되지 않은 것으로 판단되는 경우(아니요), GPS로부터 수신된 차량의 위치를 추정한다(S211). S211 단계 이후, 소정거리를 주행하는 동안 노면표시가 인식된 경우, 노면표시을 기반으로 차량의 위치를 추정하고(S213), 이를 기반으로 차량의 현재위치를 판단한다(S217). 만약, S211 단계 이후, 소정거리를 주행하는 동안 노면표시가 인식되지 않은 경우, S211 단계에서 GPS로부터 수신된 차량의 위치를 기반으로 차량의 현재위치를 판단한다(S217).
S210 단계에서 차량의 초기 위치기 설정된 것으로 판단되는 경우(예), 차량이 초기 위치로부터 소정 거리를 주행하는 동안 노면표시가 인식되었는지 판단한다(S214). S214 단계에서 노면표시가 인식되지 않은 경우(아니요), 차량의 초기 위치를 획득하고(S215), 차량의 주행속도를 기반으로 차량의 위치를 보정한다(S216). 이후, 보정된 차량의 위치를 기반으로 차량의 현재위치를 판단한다(S217). 만약, S214 단계에서 노면표시가 인식된 경우(예), 노면표시를 기반으로 차량의 위치를 추정하고(S213), 이를 기반으로 차량의 현재위치를 판단한다(S217).
도 10은 도 9의 노면표시를 기반으로 차량의 위치를 추정하는 단계를 나타낸 흐름도이다.
도 10은 GPS를 기반으로 추정된 차량의 위치와 정밀지도 내에서 획득된 노면표시의 중심을 기준으로 직선을 정의한다(S250). S250 단계에서 정의된 직선거리와, 도 8의 S167 단계에서 계산된 거리가 상이한지 판단한다(S251). S251 단계에서 거리가 상이한 것으로 판단되면, 현재 GPS를 기반으로 추정된 차량의 위치에 오차가 존재하는 것이므로 차량의 종방향 위치를 보정한다(S252). 예를들면 S252 단계는 도 5에 도시된 바와 같이, 제어부(40)의 상기 2번 동작을 통하여 계산된 차량과 노면표시의 거리를 기준으로 차량의 종방향 위치를 (X0,Y3)로 보정할 수 있다. 그리고, 차량의 횡방향 위치를 보정한다(S253). S253 단계는 도 5에 도시된 바와 같이, 전방영상의 중앙부분에 노면표시의 중심이 위치하도록 변환하고, 노면표시의 중심의 X값과 차량의 중심의 X값이 일치하도록 횡방향 위치를 X3로 보정하도록 수행된다. 따라서, 차량의 위치가 (X3,Y3)에 위치한 것으로 보정될 수 있다.
본 발명의 다른 실시예에 따르면, 차량 전방의 노면표시정보를 정밀지도로부터 획득하지 않고, 카메라로부터 획득된 영상으로만 노면표시를 인식하여 현재 차량의 위치를 판단할 수 있다.
본 발명은 차량 전방의 노면표시 인식결과를 이용하여 차량의 주변상황을 판단할 수 있다. 노면표시 종류에 따라 주행차선의 주행경로를 예측할 수 있고, 다음 경로를 결정할 수 있다. 예를들어, 횡단보도 예고 표시가 인식된 경우, 전방에 횡단보도가 존재하므로 신호등 인식 알고리즘이 적용되어 서행하며 정지선을 찾아 정지하도록 제어할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
카메라부 10
위치측정부 20
저장부 30
제어부 40
위치측정부 20
저장부 30
제어부 40
Claims (20)
- 차량의 전방의 노면표시의 영상을 획득하는 카메라부;
차량의 위치를 측정하는 위치측정부;
정밀지도 및 노면표시 영상 데이터베이스가 저장된 저장부; 및
상기 차량의 위치로부터 소정범위내의 노면표시정보를 상기 정밀지도로부터 획득하는 제1동작을 수행하고, 상기 카메라부에서 획득된 노면표시 영상으로부터 상기 노면표시를 인식하고, 상기 카메라로부터 획득된 노면표지 영상과 상기 차량과의 거리를 계산하는 제2동작을 수행하고, 상기 노면표시를 최초로 인식하여 차량의 위치를 초기위치로 설정하고, 상기 초기위치로부터 소정거리를 주행하는 동안 상기 제1동작 및 상기 제2동작을 통하여 다른 노면표시가 인식된 경우, 상기 위치측정부에서 측정된 상기 차량의 위치와 상기 정밀지도 내에서 획득된 상기 다른 노면표시의 중심을 직선으로 정의하고, 정의된 직선거리와 상기 제2 동작을 수행하여 계산된 거리가 상이하면, 상기 제2 동작을 수행하여 계산된 거리를 기준으로 상기 위치측정부에서 측정된 상기 차량의 종방향 위치를 보정하여 차량의 위치를 판단하는 제3동작을 수행하는 제어부를 포함하는 노면표시기반 차량의 위치추정 장치. - 청구항 1에 있어서,
상기 제어부의 상기 제1동작은
상기 위치측정부에서 측정된 차량의 위치를 기반으로 상기 노면표시의 헤딩값을 추출하고, 상기 노면표시의 헤딩값과 상기 차량의 헤딩값이 소정범위 이내인 경우, 상기 차량의 전방에 노면표시가 존재하는 것으로 판단하는 것을 포함하는 노면표시기반 차량의 위치추정 장치. - 청구항 2에 있어서,
상기 제어부의 상기 제1동작은
상기 노면표시의 헤딩값을 상기 차량으로부터 가장 가까운 상기 노면표시의 일측점과 가장 먼 상기 노면표시의 타측점 사이의 각도를 기반으로 추출하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 장치. - 청구항 1에 있어서,
상기 제어부는
상기 제1동작을 수행하여, 상기 노면표시의 종류, 상기 노면표시의 높이 및 너비, 상기 노면표시의 헤딩값 및 상기 차량의 헤딩값 차이, 및 상기 노면표시의 위치 정보를 획득하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 장치. - 청구항 1에 있어서,
상기 제어부의 상기 제2동작은
상기 노면표시 영상 데이터베이스와 상기 카메라로부터 획득된 노면표시 영상을 탬플릿 매칭을 수행하여 매칭여부를 판단하는 것을 포함하는 노면표시기반 차량의 위치추정 장치. - 청구항 1에 있어서,
상기 제어부의 제2동작은
상기 정밀지도로부터 획득된 상기 노면표시의 크기를 기반으로 계산한 미터단위의 크기를 영상의 화소(pixel) 단위로 변환하는 것을 포함하는 노면표시기반 차량의 위치추정 장치. - 청구항 1에 있어서,
상기 제어부의 제2동작은
상기 노면표시의 헤딩값과 상기 차량의 헤딩값의 차이를 이용하여 회전각도를 획득하고, 상기 회전각도를 기반으로 상기 노면표시 영상 데이터베이스의 노면표시영상을 회전시켜 상기 카메라로부터 획득된 노면표시 영상과의 매칭여부를 판단하여, 매칭되면 상기 노면표시가 인식된 것으로 판단하는 것을 포함하는 노면표시기반 차량의 위치추정 장치. - 삭제
- 삭제
- 청구항 1에 있어서,
상기 제어부의 제3동작은
상기 카메라로 획득된 영상의 중앙에 상기 노면표시의 중심이 위치하도록 변환하고, 상기 노면표시의 중심 좌표의 X값과 상기 차량의 중심좌표의 X값이 일치하도록 횡방향 위치를 보정하는 것을 포함하는 노면표시기반 차량의 위치추정 장치. - 차량의 현재위치의 소정범위 내에 존재하는 노면표시정보를 정밀지도로부터 획득하는 제1단계;
상기 노면표시정보를 기반으로 카메라로 획득된 영상으로부터 상기 노면표시를 인식하고, 상기 카메라로부터 획득된 노면표시의 영상과 상기 차량과의 거리를 계산하는 제2단계;
상기 노면표시를 최초로 인식한 때의 상기 차량의 위치를 차량의 초기위치로 설정하는 제3단계; 및
상기 차량의 초기위치가 설정된 것으로 판단되고, 상기 차량의 초기위치로부터 소정거리를 주행하는 동안 상기 제1단계 및 상기 제2단계를 통하여 다른 노면표시가 인식된 경우, 위치측정부에서 측정된 상기 차량의 위치와 상기 정밀지도 내에서 획득된 상기 다른 노면표시의 중심을 직선으로 정의하고, 정의된 직선거리과 상기 제2단계를 수행하여 계산된 거리가 상이한 경우, 상기 제2단계를 수행하여 계산된 거리를 기준으로, 상기 위치측정부로부터 측정된 차량의 종방향 위치를 보정하는 제4단계를 포함하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 방법. - 청구항 11에 있어서,
상기 제1단계는
상기 위치측정부에서 측정된 차량의 위치를 기반으로 상기 노면표시의 헤딩값을 추출하는 단계; 및
상기 노면표시의 헤딩값과 상기 차량의 헤딩값이 소정범위 이내인 경우, 상기 차량의 전방에 노면표시가 존재하는 것으로 판단하는 단계를 포함하는 노면표시기반 차량의 위치추정 방법. - 청구항 12에 있어서,
상기 노면표시의 헤딩값을 추출하는 단계는
상기 차량으로부터 가장 가까운 상기 노면표시의 일측점과 가장 먼 상기 노면표시의 타측점 사이의 각도를 기반으로 추출하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 방법. - 청구항 11에 있어서,
상기 제1단계 이후, 상기 노면표시의 종류, 상기 노면표시의 높이 및 너비, 상기 노면표시의 헤딩값 및 상기 차량의 헤딩값 차이, 및 상기 노면표시의 위치 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 방법. - 청구항 11에 있어서,
상기 제2단계는
노면표시 영상 데이터베이스와 상기 카메라로부터 획득된 노면표시 영상을 탬플릿 매칭을 수행하여 매칭여부를 판단하는 단계를 포함하것을 특징으로 하는 노면표시기반 차량의 위치추정 방법. - 청구항 11에 있어서,
상기 제2단계는
상기 정밀지도로부터 획득된 상기 노면표시의 크기를 기반으로 계산한 미터단위의 크기를 영상의 화소(pixel) 단위로 변환하는 단계를 포함하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 방법. - 청구항 11에 있어서,
상기 제2단계는
상기 노면표시의 헤딩값과 상기 차량의 헤딩값의 차이를 이용하여 회전각도를 획득하는 단계;
상기 회전각도를 기반으로 노면표시 영상 데이터베이스의 노면표시영상을 회전시켜 상기 카메라로부터 획득된 노면표시 영상과의 매칭여부를 판단하는 단계; 및
매칭되면 상기 노면표시가 인식된 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 방법. - 삭제
- 삭제
- 청구항 11에 있어서,
상기 제4단계는
상기 카메라로 획득된 영상의 중앙에 상기 노면표시의 중심이 위치하도록 변환하고, 상기 노면표시의 중심 좌표의 X값과 상기 차량의 중심좌표의 X값이 일치하도록 횡방향 위치를 보정하는 단계를 포함하는 것을 특징으로 하는 노면표시기반 차량의 위치추정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170144279A KR102441075B1 (ko) | 2017-10-31 | 2017-10-31 | 노면표시기반 차량의 위치추정 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170144279A KR102441075B1 (ko) | 2017-10-31 | 2017-10-31 | 노면표시기반 차량의 위치추정 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190048952A KR20190048952A (ko) | 2019-05-09 |
| KR102441075B1 true KR102441075B1 (ko) | 2022-09-06 |
Family
ID=66546608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170144279A KR102441075B1 (ko) | 2017-10-31 | 2017-10-31 | 노면표시기반 차량의 위치추정 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102441075B1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102485315B1 (ko) * | 2020-06-01 | 2023-01-06 | 네이버랩스 주식회사 | 도로 영상에서의 노면 기호 방향 판단 방법, 장치, 시스템 및 컴퓨터 프로그램 |
| KR20220080424A (ko) | 2020-12-07 | 2022-06-14 | 주식회사 비젼그리드 | 자율주행을 위한 영상추적을 이용한 위치측정 방법 및 장치 |
| KR102427463B1 (ko) | 2020-07-16 | 2022-08-01 | 주식회사 비젼그리드 | 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치 |
| CN112068171B (zh) * | 2020-09-08 | 2022-02-01 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法及装置、车辆、存储介质 |
| CN112801012B (zh) * | 2021-02-05 | 2021-12-17 | 腾讯科技（深圳）有限公司 | 交通元素的处理方法、装置、电子设备及存储介质 |
| KR102416216B1 (ko) | 2021-02-09 | 2022-07-05 | 주식회사 비젼그리드 | 영상인식을 이용한 3차원 실체 형상 데이터 생성 방법 및 장치 |
| JP2023159622A (ja) | 2022-04-20 | 2023-11-01 | 味の素株式会社 | 樹脂組成物 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005265494A (ja) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | 車両位置推定装置およびこれを用いた運転支援装置 |
| JP2007108043A (ja) * | 2005-10-14 | 2007-04-26 | Xanavi Informatics Corp | 位置測位装置、および位置測位方法 |
| JP2010092403A (ja) * | 2008-10-10 | 2010-04-22 | Hitachi Automotive Systems Ltd | 道路標示認識システム |
-
2017
- 2017-10-31 KR KR1020170144279A patent/KR102441075B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005265494A (ja) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | 車両位置推定装置およびこれを用いた運転支援装置 |
| JP2007108043A (ja) * | 2005-10-14 | 2007-04-26 | Xanavi Informatics Corp | 位置測位装置、および位置測位方法 |
| JP2010092403A (ja) * | 2008-10-10 | 2010-04-22 | Hitachi Automotive Systems Ltd | 道路標示認識システム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190048952A (ko) | 2019-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102441075B1 (ko) | 노면표시기반 차량의 위치추정 방법 및 장치 | |
| KR102483649B1 (ko) | 차량 위치 결정 방법 및 차량 위치 결정 장치 | |
| EP3519770B1 (en) | Methods and systems for generating and using localisation reference data | |
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| CN108444390B (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
| US9881218B2 (en) | Location calculation system and non-transitory computer-readable medium | |
| JP4973736B2 (ja) | 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム | |
| US11352090B2 (en) | Information providing device and program for motorcycle | |
| US10480949B2 (en) | Apparatus for identifying position of own vehicle and method for identifying position of own vehicle | |
| US20160363647A1 (en) | Vehicle positioning in intersection using visual cues, stationary objects, and gps | |
| JP6171612B2 (ja) | 仮想レーン生成装置及びプログラム | |
| CN106289159B (zh) | 基于测距补偿的车辆测距方法及装置 | |
| US9697421B2 (en) | Stereoscopic camera apparatus | |
| KR20160087273A (ko) | 차량 안전 주행 장치 | |
| KR20190134231A (ko) | 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| US11703344B2 (en) | Landmark location estimation apparatus and method, and computer-readable recording medium storing computer program programmed to perform method | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| JP2018048949A (ja) | 物体識別装置 | |
| KR20200045696A (ko) | 주행 정보를 결정하는 방법 및 장치 | |
| US20220042823A1 (en) | Apparatus and method for updating detailed map | |
| US20170103271A1 (en) | Driving assistance system and driving assistance method for vehicle | |
| KR20180067199A (ko) | 객체 인식 장치 및 방법 | |
| Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
| KR102100047B1 (ko) | 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법 | |
| Li et al. | Pitch angle estimation using a Vehicle-Mounted monocular camera for range measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |