KR102425346B1 - 차량 측위 장치 및 방법 - Google Patents

차량 측위 장치 및 방법 Download PDF

Info

Publication number
KR102425346B1
KR102425346B1 KR1020180033790A KR20180033790A KR102425346B1 KR 102425346 B1 KR102425346 B1 KR 102425346B1 KR 1020180033790 A KR1020180033790 A KR 1020180033790A KR 20180033790 A KR20180033790 A KR 20180033790A KR 102425346 B1 KR102425346 B1 KR 102425346B1
Authority
KR
South Korea
Prior art keywords
road marking
unit
detecting
road
positioning
Prior art date
Application number
KR1020180033790A
Other languages
English (en)
Other versions
KR102425346B9 (ko
KR20190115540A (ko
Inventor
이원오
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020180033790A priority Critical patent/KR102425346B1/ko
Publication of KR20190115540A publication Critical patent/KR20190115540A/ko
Application granted granted Critical
Publication of KR102425346B1 publication Critical patent/KR102425346B1/ko
Publication of KR102425346B9 publication Critical patent/KR102425346B9/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량 측위 장치 및 방법이 개시된다. 본 발명의 차량 측위 장치는 도로의 노면상에 표시되는 노면표기, 노면표기를 촬영하는 카메라부, 카메라부에 의해 촬영된 영상을 분석하여 노면표기를 인식하는 노면표기 인식부, 및 노면표기 인식부에 의해 인식된 노면표기를 이용하여 측위 정보를 측정하는 측위 정보 측정부를 포함하는 것을 특징으로 한다.

Description

차량 측위 장치 및 방법{APPARATUS FOR DETERMINING POSITION OF VEHICLE AND METHOD THEREOF}
본 발명은 차량 측위 장치 및 방법에 관한 것으로서, 보다 상세하게는 카메라에서 촬영된 영상과 도로 인프라를 이용하여 차량의 위치를 측정하는 차량 측위 장치 및 방법에 관한 것이다.
자율 주행 차량이란 주행시 외부정보 감지 및 처리기능을 통해 주변의 환경을 인식하여 주행 경로를 자체적으로 결정하고, 자체 동력을 이용하여 독립적으로 주행하는 차량을 말한다.
자율 주행 차량에 적용되는 측위 방법은 GPS(Global Positioning System), DGPS(Differential GPS), Network-RTK(Real Time Kinematic) 등 GNSS(Global Navigation Stellite System)를 기반으로 하는 위성측위 방법, 차량센서 및 IMU(Inertial Measurement Unit)(차속,조향각,휠오도미터/yaw rate/가속도 등)를 활용하여 위성측위를 보정하는 차량거동기반 추측항법(Dead Reckoning), 자율주행용 정밀지도와 각종 센서(카메라, 스테레오 카메라, AVM(Arround View Monitor) 카메라, 라이다 등)에서 들어오는 데이터를 비교하여 차량의 위치를 상대적으로 추측하는 맵매칭 방법 등이 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2017-0098071호(2017.08.29. 공개)에 개시되어 있다.
종래의 위성 측위 방법은 고정밀 GPS, 고정밀 라이다, 고해상도 카메라 등을 필요로 하여 그 가격이 매우 비싸고, 복잡한 알고리즘으로 이루어져 있어 그 처리속도 및 정확도가 떨어지며, 도로의 특성, 주위 지형지물의 특성 등에 영향을 받아 그 성능을 일정하게 유지하기가 어려운 문제점이 있었다.
특히, 자율 주행에 있어 가장 기술적 난이도가 높은 것은 정확한 종방향 측위인데, 종방향 측위의 어려움으로 인해 현재 양산되는 차량에는 차선변경을 하지 않는 고속도로 부분 자율주행 시스템(HDA)이 탑재되고 있다.
차선 변경을 위해서는 차량이 주행하는 차로를 알고 있어야 하며, 이를 위해 LKAS(Lane Keeping Assist System), LDWS(Lane Departure Warning System)에서 나오는 차선 정보를 활용하게 된다. LKAS에서 나오는 차선 정보를 누적하여 현재 차로를 예측하지만, 만약 센서의 오차로 인해 그 누적 정보가 한 번만이라도 틀리게 된다면 그 후의 차로 정보는 모두 틀린 정보가 되어 안정성을 보장할 수 없게 된다. 따라서 차선변경이 가능한 AHAD(Advanced HAD) 개발을 위해서도 차로 구분 수준의 횡방향 측위 정확도가 필요로 하게 되었다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 카메라에서 촬영된 영상과 도로 인프라를 이용하여 차량의 종방향 측위, 횡방향 측위 및 차로 구분을 수행하는 차량 측위 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 차량 측위 장치는 도로의 노면상에 표시되는 노면표기; 상기 노면표기를 촬영하는 카메라부; 상기 카메라부에 의해 촬영된 영상을 분석하여 상기 노면표기를 인식하는 노면표기 인식부; 및 상기 노면표기 인식부에 의해 인식된 상기 노면표기를 이용하여 측위 정보를 측정하는 측위 정보 측정부를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기는 각 차로 별로 표시되는 것을 특징으로 한다.
본 발명의 상기 노면표기는 차선을 나타내는 문자나 숫자 및 이미지 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기 인식부는 상기 카메라부에 의해 촬영된 영상에서 상기 노면표기를 검출하는 노면표기 검출부; 및 상기 노면표기 검출부에 의해 검출된 상기 노면표기를 n×n 이미지로 와핑하고, 와핑된 n×n 이미지를 m×m 격자로 분할한 후, 분할된 격자 각각을 코드로 정규화하는 코드 추출부를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기 검출부는 상기 카메라부에 의해 촬영된 영상에서 상기 노면표기의 윤곽선을 검출하여 검출된 윤곽선을 토대로 상기 노면표기의 도형을 검출하는 도형 검출부; 및 상기 도형 검출부에 의해 검출된 상기 노면표기의 도형에 대해 패러티를 체크하여 상기 노면표기의 도형이 기 설정된 조건을 만족하는지 여부에 따라 상기 노면표기를 검출하는 패러티 체크부를 포함하는 것을 특징으로 한다.
본 발명의 상기 측위 정보 측정부는 상기 코드 추출부에 의해 정규화된 코드의 정렬 상태를 통해 상기 노면표기의 식별 정보를 검출하고 검출된 식별 정보에 매칭된 차로 정보를 검출하는 차로 정보 검출부를 포함하는 것을 특징으로 한다.
본 발명의 상기 측위 정보 측정부는 상기 노면표기 검출부에 의해 검출된 상기 노면표기의 절대 좌표를 이용하여 종방향 측위 및 횡방향 측위 중 적어도 하나를 검출하는 위치 정보 검출부를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기 인식부는 상기 코드 추출부에 정규화된 코드 중 각 모서리의 비트를 확인하고, 설정 비트의 모서리가 좌측 최상위로 가도록 m×m 격자의 행렬을 회전시켜 정렬시키는 회전 정렬부를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량 측위 방법은 도로의 노면상에 표시되는 노면표기를 촬영하는 단계; 상기 노면표기를 촬영한 영상을 분석하여 상기 노면표기를 인식하는 단계; 및 인식된 상기 노면표기를 이용하여 측위 정보를 측정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기는 각 차로 별로 표시되는 것을 특징으로 한다.
본 발명의 상기 노면표기는 차선을 나타내는 문자나 숫자 및 이미지 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기를 인식하는 단계는 상기 노면표기를 촬영한 영상에서 상기 노면표기를 검출하는 단계; 및 인식된 상기 노면표기를 n×n 이미지로 와핑하고, 와핑된 n×n 이미지를 m×m 격자로 분할한 후, 분할된 격자 각각을 코드로 정규화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기를 검출하는 단계는 상기 노면표기를 촬영한 영상에서 상기 노면표기의 윤곽선을 검출하고, 검출된 윤곽선을 토대로 상기 노면표기의 도형을 검출하는 단계; 및 상기 노면표기의 도형에 대해 패러티를 체크하여 상기 노면표기의 도형이 기 설정된 조건을 만족하는지 여부에 따라 상기 노면표기를 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 측위 정보를 측정하는 단계는 정규화된 코드의 정렬 상태를 통해 상기 노면표기의 식별 정보를 검출하고 검출된 식별 정보에 매칭된 차로 정보를 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 측위 정보를 측정하는 단계는 상기 노면표기 검출부에 의해 검출된 상기 노면표기의 절대 좌표를 이용하여 종방향 측위 및 횡방향 측위 중 적어도 하나를 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 노면표기를 인식하는 단계는 정규화된 코드 중 각 모서리의 비트를 확인하고, 설정 비트의 모서리가 좌측 최상위로 가도록 m×m 격자의 행렬을 회전시키는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량 측위 장치 및 방법은 카메라에서 촬영된 영상과 도로 인프라를 이용하여 차량의 종방향 측위, 횡방향 측위 및 차로 정보를 정확하게 측정한다.
본 발명의 다른 측면에 따른 차량 측위 장치 및 방법은 라이다 등 기타 센서를 이용하지 않고 단안 카메라만을 이용할 수 있어 측위 시스템의 부품수와 시스템 복잡도를 감소시킬 수 있다.
도 1 은 본 발명의 일 실시예에 따른 차량 측위 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 도로 상에 표시된 노면표기를 예시적으로 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 노면표기의 예시도이다.
도 4 는 본 발명의 일 실시예에 따른 노면표기의 세부 정보를 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 노면표기에서 추출된 코드를 예시적으로 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 차로 정보를 인식한 예를 나타낸 도면이다.
도 7 은 본 발명의 일 실시예에 따른 종방향 측위 및 횡방향 측위를 나타낸 도면이다.
도 8 은 본 발명의 일 실시예에 따른 차량 측위 방법을 나타낸 도면이다.
이하에서는 본 발명의 일 실시예에 따른 차량 측위 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 차량 측위 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 도로 상에 표시된 노면표기를 예시적으로 나타낸 도면이며, 도 3 은 본 발명의 일 실시예에 따른 노면표기의 예시도이며, 도 4 는 본 발명의 일 실시예에 따른 노면표기의 세부 정보를 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 노면표기에서 추출된 코드를 예시적으로 나타낸 도면이며, 도 6 은 본 발명의 일 실시예에 따른 차로 정보를 인식한 예를 나타낸 도면이며, 도 7 은 본 발명의 일 실시예에 따른 종방향 측위 및 횡방향 측위를 나타낸 도면이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 차량 측위 장치는 노면표기(10), 카메라부(20), 노면표기 인식부(30), 및 측위 정보 측정부(40)를 포함한다.
노면표기(10)는 도로를 주행하는 차량의 측위 정보, 예를 들어 위치 정보 및 차로 정보를 측정하기 위해 도로상에 표시되는 것으로써, 도로상에 복수 개가 마련될 수 있다.
위치 정보에는 종방향 측위 및 횡방향 측위가 포함될 수 있다.
노면표기(10)는 도로 내 각 차로별로 표시되며, 기 정의된 도형 내부에 식별 정보를 포함한다. 식별 정보는 차로별로 서로 다른 형태와 크기로 표시될 수 있다. 일 예로, 식별 정보는 숫자나 문자, 이미지 등이 채용될 수 있으며 이 식별 정보는 차로를 구분하는데 이용된다.
또한, 노면표기(10) 각각에는 고유한 절대좌표가 매칭되며, 이 절대좌표를 기초로 차량의 횡방향 측위 및 종방향 측위가 측정될 수 있다.
노면표기(10)는 차량의 자율 주행에 필요한 위치에 표시될 수 있으나, 그 위치는 특별히 한정되지 않는다.
도 2 에는 노면표기(10)의 식별정보가 숫자로 표시되고, 노면표기(10)가 100m 간격으로 표시된 것이 도시되었다.
또한, 노면표기(10)의 식별정보는 상기한 바와 같이 다양한 형태로 표시될 수 있는데, 도 3 에는 로마자, 이진코드, 및 숫자를 포함하는 것이 도시되었다.
도 3 에서, 노면표기(10)의 식별정보가 로마자를 응용하여 생성된 경우 일반 운전자가 직관적으로 인식할 수 있는 장점이 있고, 식별정보가 이진코드를 응용하여 생성된 경우 노면표기(10)를 자동으로 인식하기 위한 자동인식 알고리즘이 단순하고 강인한 장점이 있으며, 식별정보가 숫자로 생성된 경우 일반 운전자가 직관적으로 인식할 수 있고 자동인식 또한 용이하다는 장점이 있다.
참고로, 본 실시예에서는 노면표기(10)를 숫자로 생성한 경우를 예시로 설명한다.
카메라부(20)는 차량에 설치되어 노면표기(10)를 촬영하고, 촬영된 영상을 노면표기 인식부(30)에 입력한다.
카메라부(20)로 단안 카메라가 채용될 수 있다. 본 실시예는 자율 주행을 위한 센서류로 단안 카메라만 채용되어도 측위 정보를 검출할 수 있으므로, 종래의 자율 주행에 필요한 센서류, 예를 들어, 고정밀 GPS(Global Positioning System), 고정밀 라이다, 고해상도 카메라 등을 필요로 하지 않는다. 따라서, 본 실시예는 종래의 센서류에 비해 저렴한 가격으로 자율 주행에 필요한 측위 정보를 검출할 수 있고, 상대적으로 간단한 알고리즘으로도 그 처리속도 및 정확도를 향상시킬 수 있다. 게다가, 본 실시예는 도로의 특성, 주위 지형지물의 특성 등에 의한 영향이 최소화되어 측위 정보 측정시 그 성능을 일정하게 유지할 수도 있다.
노면표기 인식부(30)는 카메라부(20)에 의해 촬영된 영상을 분석하여 노면표기(10)를 인식한다.
노면표기 인식부(30)는 노면표기 검출부(31), 코드 추출부(32) 및 회전 정렬부(33)를 포함한다.
노면표기 검출부(31)는 카메라부(20)에 의해 촬영된 영상에서 노면표기(10)를 검출하는 것으로써, 도형 검출부(311) 및 패러티(Parity) 체크부(312)를 포함한다.
도 4 를 참조하면, 도형 검출부(311)는 카메라부(20)에 의해 촬영된 영상에서 노면표기(10)의 윤곽선을 검출하고, 검출된 윤곽선을 토대로 도형을 검출한다.
이 경우 도형 검출부(311)는 카메라부(20)에 의해 촬영된 영상을 이진화하여 바이너리(Binary)화하여 바이너리 이미지를 생성한다. 도형 검출부(311)는 생성된 바이너리 이미지에서 윤곽선을 검출하는데, 바이너리 이미지에서 일직선상의 연속된 점들을 직선으로 근사화시켜 윤곽선을 검출한다.
이어 도형 검출부(311)는 검출된 윤곽선을 통해 이루어진 점의 개수가 설정 개수, 예를 들어 4개 이상인 윤곽선을 설정 도형 후보로 검출하고, 이들 설정 도형 후보군 중 모서리가 4개인 윤곽선인 도형, 즉 설정 도형(사각형)을 검출한다.
본 실시예에서는 노면표기(10)의 설정 도형을 사각형을 예시로 설명한다. 따라서, 모서리의 설정 개수는 4개가 될 수 있다.
도형 검출부(311)에 의해 도형이 검출됨에 따라, 패러티 체크부(312)가 해당 도형을 패러티 체크하여 도형이 기 설정된 조건을 만족하는지 여부에 따라 노면표기(10)를 검출함으로써, 최종적으로 기 정의된 노면표기(10)를 인식한다.
조건은 해당 도형이 기 정의된 노면표기(10)인지를 최종적으로 확인하기 위한 조건이다. 즉, 패러티 체크부(312)는 도 4 에 도시된 바와 같이 패러티를 체크하여 4개의 패러티 비트 중 단 하나의 흰색 영역이 있을 경우에만 본 실시예에서 기 정의된 노면표기(10)에 해당하는 것으로 판단한다. 즉, 사전에 상기한 조건을 만족하도록 노면표기(10)를 표시하고, 이후 패러티 체크부(312)를 통해 해당 조건이 만족하는지를 통해 해당 노면표기(10)가 본 실시예에서 기 정의된 노면표기(10)에 해당하는지를 판단한다.
코드 추출부(32)는 노면표기 검출부(31)에 의해 최종적으로 검출된 노면표기(10)를 n×n 이미지로 와핑(Warping)하고, 와핑된 n×n 이미지를 m×m 격자로 분할한 후, 분할된 격자 각각을 코드로 정규화한다.
예를 들어, 코드 추출부(32)는 노면표기 검출부(31)에 의해 검출된 노면표기(10)를 n×n 이미지, 예컨데 70×70의 이미지로 와핑한다. 이때 아래의 수학식 1과 같은 변환 행렬 Perspective Transform Matrix를 계산한다.
Figure 112018029252643-pat00001
여기서, xi 및 yi는 보정 전 좌표이고, tixi 및 tiyi는 보정 후 좌표이다.
코드 추출부(32)는 상기한 70×70 이미지를 m×m 이미지, 예컨데 7×7 이미지로 분할하고, 각 격자 내 모든 픽셀(100개)들의 픽셀값(0~255)들을 합산한다.
이어 코드 추출부(32)는 각 격자 내 픽셀들을 합산한 합산값 중 최대값과 최소값을 검출한 후, 검출된 최대값과 최소값의 중간값을 검출한다. 코드 추출부(32)는 이 중간값을 각 격자의 합산값과 비교하여 비교 결과에 따라 각 격자별로 코드를 검출한다.
이 경우, 코드 추출부(32)는 각 격자의 합산값과 중간값을 비교하여 합산값이 중간값 보다 작으면 해당 격자의 코드를 1비트로 정규화하고, 합산값이 중간값 보다 크면 해당 격자의 코드를 0비트로 정규화함으로써, m×m 행렬을 생성한다. 도 5 에는 1비트가 표시된 노면표기(10)에 대한 코드가 도시되었다. 도 5 를 참조하면, 정규화된 노면표기(10)의 테두리의 비트는 모두 0이며, 테두리를 제외한 나머지 코드 중 좌측 상위 비트는 항상 0이고, 나머지 3개의 모서리의 비트는 항상 1이다. 이를 통해 상기한 조건(모서리 중 좌측 상위의 비트가 0이고 나머지 3개의 비트가 1)에 만족함을 알 수 있으며, 이는 노면표기(10)를 정확하게 인식하기 위한 회전 정렬의 기준이 될 수 있다.
상기한 바와 같이, 정규화된 노면표기(10)의 테두리의 비트가 모두 0이며, 테두리를 제외한 나머지 코드 중 좌측 상위 비트가 항상 1이므로, 회전 정렬부(33)는 노면표기(10)의 테두리를 제외한 나머지 네 모서리의 비트를 확인하여 비트가 0인 모서리가 좌측 최상위로 가도록 m×m 행렬을 회전시키고, 이때 나머지 3개의 모서리의 비트도 회전시킴으로써, 각 격자의 코드를 회전 정렬시킨다.
측위 정보 측정부(40)는 노면표기 인식부(30)에 의해 인식된 노면표기(10)를 이용하여 차량의 측위 정보를 측정하는 것으로써, 차로 정보 검출부(41) 및 위치 정보 검출부(42)를 포함한다.
위치 정보 검출부(42)는 회전 정렬부(33)에 의해 회전 정렬된 코드의 정렬 상태를 통해 노면표기(10)의 식별 정보를 검출하고, 검출된 식별 정보에 매칭된 차로 정보를 검출한다. 도 6 에는 노면표기(10)의 식별 정보로 '2'와 '3'이 표시되었으며, 이러한 식별 정보 '2'와 '3'를 통해 차로 정보가 2차로와 3차로임을 알 수 있다.
위치 정보 검출부(42)는 노면표기 검출부(31)에 의해 검출된 노면표기(10)의 절대 좌표를 이용하여 차량의 종방향 측위 및 횡방향 측위 중 적어도 하나를 검출한다.
즉, 위치 정보 검출부(42)는 테두리를 제외한 노면표기(10)에서 각 모서리 부분의 영상 좌표를 검출하고, 해당 영상 좌표를 이용하여 노면표기(10)의 실세계 공간에서의 실세계 좌표를 검출한 후, 이 노면표기(10)의 실세계 좌표를 기준으로 차량의 실세계 공간에서 상대 위치를 검출한다. 이 경우, 노면표기(10)는 상기한 바와 같이 고유한 절대좌표, 즉 위도와 경도가 설정되어 있는 바, 상기한 노면표기(10)의 절대좌표에 상기한 차량의 상대 위치를 적용함으로써, 차량의 위치 정보, 즉 횡방향 측위와 종방향 측위를 검출한다.
이와 같이, 영상 좌표를 통해 실세계 좌표로 변환하기 위해서는, 카메라부(20)의 Instrinsic Matrix 및 Distortion Coefficients가 사전에 정의되어야 하며, 영상 좌표계를 실세계 좌표계로 변화시키기 위해 핀홀 모델이나 실제 렌즈 모델이 필요하다. 이러한 모델로는 상기한 실시예에 한정되는 것은 아니며, 영상 좌표계를 실세계 좌표계로 변환하는 다양한 모델이 채용될 수 있다. 도 7 에는 노면표기(10) '1'을 기준으로 한 위치 정보가 예시적으로 도시되어 있다.
이하 도 8 을 참조하여 본 발명의 일 실시예에 따른 차량 측위 방법을 상세하게 설명한다.
도 8 은 본 발명의 일 실시예에 따른 차량 측위 방법을 나타낸 도면이다.
도 8 을 참조하면, 먼저 카메라부(20)가 노면표기(10)를 촬영(S10)한다.
카메라부(20)에 의해 노면표기(10)가 촬영됨에 따라, 도형 검출부(311)는 카메라부(20)에 의해 촬영된 영상을 이진화하여 바이너리(Binary)화시키고, 생성된 바이너리 이미지에서 일직선상의 연속된 점들을 직선으로 근사화시켜 윤곽선을 검출한다. 이어 도형 검출부(311)는 검출된 윤곽선을 통해 이루어진 점의 개수가 설정 개수, 예를 들어 4개 이상인 윤곽선을 설정 도형 후보로 검출하고, 이들 설정 도형 후보군 중 모서리의 수가 4개인 윤곽선의 도형을 설정 도형(사각형)으로 검출한다(S20).
도형 검출부(311)에 의해 도형이 검출됨에 따라, 패러티 체크부(312)는 해당 도형에 대해 패러티를 체크하여 도형이 기 설정된 조건을 만족하는지 여부, 즉 패러티를 체크하여 4개의 패러티 비트 중 단 하나의 흰색 영역이 있으면 해당 도형을 노면표기(10)로 검출함으로써, 최종적으로 기 정의된 노면표기(10)를 인식한다.
이어, 코드 추출부(32)는 최종적으로 검출된 노면표기(10)를 n×n 이미지로 와핑(S30)하고, 와핑된 n×n 이미지를 m×m 격자로 분할한 후, 분할된 격자 각각을 코드로 정규화한다(S40).
이 경우, 코드 추출부(32)는 노면표기 검출부(31)에 의해 검출된 노면표기(10)를 n×n 이미지로 와핑한다. 이어 코드 추출부(32)는 n×n 이미지를 m×m 이미지로 분할하고 각 격자 내 모든 픽셀들의 픽셀값들을 합산하고, 이 합산값 중 최대값과 최소값을 검출하여 검출된 최대값과 최소값의 중간값을 검출한다. 코드 추출부(32)는 이 중간값을 각 격자의 합산값과 비교하여 비교 결과에 따라 각 격자의 코드를 검출한다.
이 경우, 코드 추출부(32)는 각 격자의 합산값과 중간값을 비교하여 합산값이 중간값 보다 작으면 해당 격자의 코드를 1비트로 정규화하고, 합산값이 중간값 보다 크면 해당 격자의 코드를 0비트로 정규화함으로써, m×m 행렬을 생성한다.
이어, 회전 정렬부(33)는 노면표기(10)의 테두리를 제외한 나머지 네 모서리의 비트를 확인하여 비트가 0인 모서리가 좌측 최상위로 가도록 m×m 행렬을 회전시키고, 이때 나머지 3개의 모서리의 비트도 회전시킴으로써, 각 격자의 코드를 회전 정렬시킨다(S50).
상기한 바와 같이, 노면표기(10)가 인식됨에 따라, 위치 정보 검출부(42)는 회전 정렬부(33)에 의해 회전 정렬된 코드의 정렬 상태를 통해 노면표기(10)의 식별 정보를 검출하고, 검출된 식별 정보에 매칭된 차로 정보를 검출한다(60).
또한, 위치 정보 검출부(42)는 노면표기 검출부(31)에 의해 검출된 노면표기(10)의 절대 좌표를 이용하여 차량의 종방향 측위 및 횡방향 측위 중 적어도 하나를 검출한다. 즉, 위치 정보 검출부(42)는 테두리를 제외한 노면표기(10)에서 각 모서리 부분의 영상 좌표를 검출하고, 해당 영상 좌표를 이용하여 노면표기(10)의 실세계 공간에서의 실세계 좌표를 검출한 후, 이 노면표기(10)의 실세계 좌표를 기준으로 차량의 실세계 공간에서 상대 위치를 검출한다.
이어 위치 정보 검출부(42)는 노면표기(10)의 절대좌표에 상기한 차량의 상대 위치를 적용함으로써, 차량의 위치 정보, 즉 횡방향 측위와 종방향 측위를 검출한다(S70).
이와 같이 본 발명의 일 일시예에 따른 차량 측위 장치 및 방법은 카메라에서 촬영된 영상과 도로 인프라를 이용하여 차량의 종방향 측위, 횡방향 측위 및 차로 정보를 정확하게 측정한다.
또한, 본 발명의 일 실시예에 따른 차량 측위 장치 및 방법은 라이다 등 기타 센서를 이용하지 않고 단안 카메라만을 이용할 수 있어 측위 시스템의 부품수와 시스템 복잡도를 감소시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 노면표기
20: 카메라부
30: 노면표기 인식부
31: 노면표기 검출부
311: 도형 검출부
312: 패러티 체크부
32: 코드 추출부
33: 회전 정렬부
40: 측위 정보 측정부
41: 차로 정보 검출부
42: 위치 정보 검출부

Claims (16)

  1. 도로의 노면상에 표시되는 노면표기;
    상기 노면표기를 촬영하는 카메라부;
    상기 카메라부에 의해 촬영된 영상을 분석하여 상기 노면표기를 인식하는 노면표기 인식부; 및
    상기 노면표기 인식부에 의해 인식된 상기 노면표기를 이용하여 측위 정보를 측정하는 측위 정보 측정부를 포함하고,
    상기 노면표기 인식부는 상기 카메라부에 의해 촬영된 영상에서 상기 노면표기를 검출하는 노면표기 검출부; 상기 노면표기 검출부에 의해 검출된 상기 노면표기를 n×n 이미지로 와핑하고, 와핑된 n×n 이미지를 m×m 격자로 분할한 후, 분할된 격자 각각을 코드로 정규화하는 코드 추출부; 및 상기 코드 추출부에 정규화된 코드 중 각 모서리의 비트를 확인하고, 설정 비트의 모서리가 좌측 최상위로 가도록 m×m 격자의 행렬을 회전시키는 회전 정렬부를 포함하는 것을 특징으로 하는 차량 측위 장치.
  2. 제 1 항에 있어서, 상기 노면표기는 각 차로 별로 표시되는 것을 특징으로 하는 차량 측위 장치.
  3. 제 1 항에 있어서, 상기 노면표기는 차선을 나타내는 문자나 숫자 및 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 측위 장치.
  4. 삭제
  5. 제 1 항에 있어서, 상기 노면표기 검출부는
    상기 카메라부에 의해 촬영된 영상에서 상기 노면표기의 윤곽선을 검출하여 검출된 윤곽선을 토대로 상기 노면표기의 도형을 검출하는 도형 검출부; 및
    상기 도형 검출부에 의해 검출된 상기 노면표기의 도형에 대해 패러티를 체크하여 상기 노면표기의 도형이 기 설정된 조건을 만족하는지 여부에 따라 상기 노면표기를 검출하는 패러티 체크부를 포함하는 것을 특징으로 하는 차량 측위 장치.
  6. 제 1 항에 있어서, 상기 측위 정보 측정부는
    상기 코드 추출부에 의해 정규화된 코드의 정렬 상태를 통해 상기 노면표기의 식별 정보를 검출하고 검출된 식별 정보에 매칭된 차로 정보를 검출하는 차로 정보 검출부를 포함하는 것을 특징으로 하는 차량 측위 장치.
  7. 제 1 항에 있어서, 상기 측위 정보 측정부는 상기 노면표기 검출부에 의해 검출된 상기 노면표기의 절대 좌표를 이용하여 종방향 측위 및 횡방향 측위 중 적어도 하나를 검출하는 위치 정보 검출부를 포함하는 것을 특징으로 하는 차량 측위 장치.
  8. 삭제
  9. 도로의 노면상에 표시되는 노면표기를 촬영하는 단계;
    상기 노면표기를 촬영한 영상을 분석하여 상기 노면표기를 인식하는 단계; 및
    인식된 상기 노면표기를 이용하여 측위 정보를 측정하는 단계를 포함하고,
    상기 노면표기를 인식하는 단계는 상기 노면표기를 촬영한 영상에서 상기 노면표기를 검출하는 단계; 인식된 상기 노면표기를 n×n 이미지로 와핑하고, 와핑된 n×n 이미지를 m×m 격자로 분할한 후, 분할된 격자 각각을 코드로 정규화하는 단계; 및 정규화된 코드 중 각 모서리의 비트를 확인하고, 설정 비트의 모서리가 좌측 최상위로 가도록 m×m 격자의 행렬을 회전시키는 단계를 포함하는 것을 특징으로 하는 차량 측위 방법.
  10. 제 9 항에 있어서, 상기 노면표기는 각 차로 별로 표시되는 것을 특징으로 하는 차량 측위 방법.
  11. 제 9 항에 있어서, 상기 노면표기는 차선을 나타내는 문자나 숫자 및 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 측위 방법.
  12. 삭제
  13. 제 9 항에 있어서, 상기 노면표기를 검출하는 단계는
    상기 노면표기를 촬영한 영상에서 상기 노면표기의 윤곽선을 검출하고, 검출된 윤곽선을 토대로 상기 노면표기의 도형을 검출하는 단계; 및
    상기 노면표기의 도형에 대해 패러티를 체크하여 상기 노면표기의 도형이 기 설정된 조건을 만족하는지 여부에 따라 상기 노면표기를 검출하는 단계를 포함하는 것을 특징으로 하는 차량 측위 방법.
  14. 제 9 항에 있어서, 상기 측위 정보를 측정하는 단계는
    정규화된 코드의 정렬 상태를 통해 상기 노면표기의 식별 정보를 검출하고 검출된 식별 정보에 매칭된 차로 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 차량 측위 방법.
  15. 제 9 항에 있어서, 상기 측위 정보를 측정하는 단계는
    상기 노면표기의 절대 좌표를 이용하여 종방향 측위 및 횡방향 측위 중 적어도 하나를 검출하는 단계를 포함하는 것을 특징으로 하는 차량 측위 방법.
  16. 삭제
KR1020180033790A 2018-03-23 2018-03-23 차량 측위 장치 및 방법 KR102425346B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180033790A KR102425346B1 (ko) 2018-03-23 2018-03-23 차량 측위 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180033790A KR102425346B1 (ko) 2018-03-23 2018-03-23 차량 측위 장치 및 방법

Publications (3)

Publication Number Publication Date
KR20190115540A KR20190115540A (ko) 2019-10-14
KR102425346B1 true KR102425346B1 (ko) 2022-07-27
KR102425346B9 KR102425346B9 (ko) 2023-05-11

Family

ID=68171286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180033790A KR102425346B1 (ko) 2018-03-23 2018-03-23 차량 측위 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102425346B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11697427B2 (en) * 2019-02-04 2023-07-11 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101163511B1 (ko) 2011-05-13 2012-07-06 주식회사 아이티아이앤티 식별 코드 생성 방법, 식별 코드 인식 방법 및 장치
KR101659251B1 (ko) * 2016-04-19 2016-09-23 현대건설주식회사 주행 차로 정보 또는 도로 정보의 식별 시스템 및 이를 이용한 식별 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0892919A (ja) * 1994-09-27 1996-04-09 Hirotaro Usui 道路標識と位置確認方法
JPH10153435A (ja) * 1996-11-21 1998-06-09 Mitsubishi Heavy Ind Ltd 車両走行位置検出システム
KR20160087591A (ko) * 2015-01-14 2016-07-22 한국전자통신연구원 Qr 코드를 이용한 도로정보 및 위치정보 인식방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101163511B1 (ko) 2011-05-13 2012-07-06 주식회사 아이티아이앤티 식별 코드 생성 방법, 식별 코드 인식 방법 및 장치
KR101659251B1 (ko) * 2016-04-19 2016-09-23 현대건설주식회사 주행 차로 정보 또는 도로 정보의 식별 시스템 및 이를 이용한 식별 방법

Also Published As

Publication number Publication date
KR102425346B9 (ko) 2023-05-11
KR20190115540A (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
EP3637371B1 (en) Map data correcting method and device
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
EP3096286B1 (en) Image processing apparatus, image processing method, and computer program product
JP5057183B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
JP5062498B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
JP5760696B2 (ja) 画像認識装置
CN109844457B (zh) 用于产生数字道路模型的系统和方法
JP2011504248A (ja) 車線情報を作成する方法及び装置
KR102441075B1 (ko) 노면표시기반 차량의 위치추정 방법 및 장치
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP4761156B2 (ja) 地物位置認識装置及び地物位置認識方法
CN111091037A (zh) 用于确定驾驶信息的方法和设备
US20150178922A1 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
KR20210137893A (ko) 차량 위치 결정 방법 및 시스템
TW201830336A (zh) 位置姿勢推定裝置以及位置姿勢推定方法
KR20200063311A (ko) 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법
JP7025293B2 (ja) 自車位置推定装置
KR102425346B1 (ko) 차량 측위 장치 및 방법
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]