KR102441053B1 - 차량의 주행차로 추정 장치 및 방법 - Google Patents

차량의 주행차로 추정 장치 및 방법 Download PDF

Info

Publication number
KR102441053B1
KR102441053B1 KR1020160155118A KR20160155118A KR102441053B1 KR 102441053 B1 KR102441053 B1 KR 102441053B1 KR 1020160155118 A KR1020160155118 A KR 1020160155118A KR 20160155118 A KR20160155118 A KR 20160155118A KR 102441053 B1 KR102441053 B1 KR 102441053B1
Authority
KR
South Korea
Prior art keywords
lane
driving lane
vehicle
feature point
feature
Prior art date
Application number
KR1020160155118A
Other languages
English (en)
Other versions
KR20180057029A (ko
Inventor
최은진
이강훈
유경호
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160155118A priority Critical patent/KR102441053B1/ko
Publication of KR20180057029A publication Critical patent/KR20180057029A/ko
Application granted granted Critical
Publication of KR102441053B1 publication Critical patent/KR102441053B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 차량의 주행차로 추정 장치 및 방법에 관한 것이다. 본 발명에 따른 장치는, 카메라에 의해 촬영된 전방 영상 상의 관심영역으로부터 특징점을 추출하고, 상기 전방 영상에서 상기 특징점의 주변영역으로부터 제1 특징점 서술자를 추출하는 특징점 추출부, 기 등록된 정밀 맵 DB로부터 GPS 정보에 대응하는 정밀 맵 데이터 및 상기 정밀 맵 데이터에 대한 제2 특징점 서술자를 추출하고, 상기 제1 특징점 서술자 및 상기 제2 특징점 서술자의 유사성을 판단하여 상기 특징점을 상기 정밀 맵 데이터에 매칭하는 영상 매칭부, 및 상기 추출된 특징점의 매칭 결과에 따라 차량의 주행차로를 추정하는 차로 추정부를 포함한다.

Description

차량의 주행차로 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING DRIVING LANE OF VEHICLE}
본 발명은 차량의 주행차로 추정 장치 및 방법에 관한 것이다.
종래 위치 추정 시스템은 다양한 센서 정보를 활용하여 위치를 추정한다.
일 예로, 위치 추정 시스템은 GPS를 이용하여 차량의 움직임에 대한 위치를 보정한다. 하지만, GPS는 오차범위가 넓고, 차량의 움직임 정보도 움직임이 지속 될 수록 오차범위가 넓어져서 위치 추정에 따른 오류가 증가하게 된다.
이를 보완하기 위해 위치 추정 시스템은 Lidar나 Radar 등의 거리측정 센서를 이용하여 위치 보정을 하였다. 이 경우, 위치 추정 시스템은 거리측정 센서를 이용하여 위치를 보정하는 방식은 주변 근접한 곳에 건물, 가로등, 나무 등과 같은 지형물의 위치를 미리 데이터 베이스에 저장해 두고, 주행 중에 거리측정 센서를 활용하여 지형물과의 거리를 측정하여 주행 위치 오차를 줄여주면서 위치 보정을 정밀하게 할 수 있다.
하지만, 이러한 방식은 지형물을 기반으로 거리를 측정하기 때문에, 차량 주변에 지형물이 존재하지 않는 경우에는 위치 추정을 할 수 없게 된다.
본 발명의 목적은, 거리측정 센서 또는 주변 지형물에 의존하지 않고 영상 맵 매칭을 통해 주행차로를 추정하도록 한 차량의 주행차로 추정 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 영상 맵 매칭 성능이 저조한 경우에 차로의 변경 여부를 반영하여 주행차로를 추정하도록 한 차량의 주행차로 추정 장치 및 방법을 제공함에 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 장치는, 카메라에 의해 촬영된 전방 영상 상의 관심영역으로부터 특징점을 추출하고, 상기 전방 영상에서 상기 특징점의 주변영역으로부터 제1 특징점 서술자를 추출하는 특징점 추출부, 기 등록된 정밀 맵 DB로부터 GPS 정보에 대응하는 정밀 맵 데이터 및 상기 정밀 맵 데이터에 대한 제2 특징점 서술자를 추출하고, 상기 제1 특징점 서술자 및 상기 제2 특징점 서술자의 유사성을 판단하여 상기 특징점을 상기 정밀 맵 데이터에 매칭하는 영상 매칭부, 및 상기 추출된 특징점의 매칭 결과에 따라 차량의 주행차로를 추정하는 차로 추정부를 포함하는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 방법은, 카메라에 의해 촬영된 전방 영상 상의 관심영역으로부터 특징점을 추출하고, 상기 전방 영상에서 상기 특징점의 주변영역으로부터 제1 특징점 서술자를 추출하는 단계, 기 등록된 정밀 맵 DB로부터 GPS 정보에 대응하는 정밀 맵 데이터 및 상기 정밀 맵 데이터에 대한 제2 특징점 서술자를 추출하는 단계, 상기 제1 특징점 서술자 및 상기 제2 특징점 서술자의 유사성을 판단하여 상기 특징점을 상기 정밀 맵 데이터에 매칭하는 단계, 및 상기 추출된 특징점의 매칭 결과에 따라 차량의 주행차로를 추정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 영상 맵 매칭을 통해 주행차로를 추정함으로써 거리측정 센서 또는 주변 지형물에 의존하지 않고도 주행차로 추정이 가능하며, 영상 맵 매칭 성능이 저조한 경우에 차로의 변경 여부를 반영하여 주행차로를 추정함으로써 정확도 높은 주행차로 추정 결과를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 주행차로 추정 장치의 구성을 도시한 도면이다.
도 2 내지 도 7은 본 발명의 일 실시예에 따른 차량의 주행차로 추정 장치의 영상 맵 매칭 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 차량의 주행차로 추정 장치의 차선 변경 인식 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 차량의 주행차로 추정 방법에 대한 동작 흐름을 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 주행차로 추정 장치의 구성을 도시한 도면이다.
본 발명에 따른 차량의 주행차로 추정 장치(100)는 차량의 내부에 구현될 수 있다. 이때, 차량의 주행차로 추정 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다.
이에, 도 1을 참조하면, 차량의 주행차로 추정 장치(100)는 제어부(110), 인터페이스부(120), 카메라(130), 통신부(140), 저장부(150), 특징점 추출부(160), 영상 매칭부(170), 차선 인식부(180) 및 차로 추정부(190)를 포함할 수 있다. 여기서, 제어부(110)는 차량의 주행차로 추정 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다.
인터페이스부(120)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 차량의 주행차로 추정 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.
여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.
출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
카메라(130)는 차량 주변의 영상을 촬영하는 장치로서, 예를 들어, 차량의 전방에 구비될 수 있다. 카메라(130)는 차량 전방을 촬영한 전방 영상을 제어부(110)로 전달한다. 이때, 제어부(110)는 카메라(130)로부터 전달된 전방 영상을 저장부(150)에 저장하고, 특징점 추출부(160) 및 영상 매칭부(170) 및 차선 인식부(180) 등으로 제공할 수 있다.
통신부(140)는 위성국으로부터 GPS 신호를 수신하는 GPS 모듈을 포함할 수 있다.
또한, 통신부(140)는 차량에 구비된 전장품 및/또는 제어유닛들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로, 통신모듈은 차량에 구비된 내비게이션 장치로부터 신호를 수신할 수 있다. 이와 같이, 차량에 GPS 모듈을 구비한 내비게이션 장치가 배치되고, 내비게이션 장치와 통신모듈을 통해 신호를 송수신할 수 있는 경우, GPS 모듈은 생략될 수 있다.
여기서, 통신모듈은 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 모듈을 포함할 수 있다.
또한, 통신모듈은 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수도 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이 포함될 수 있으며, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.
저장부(150)는 차량의 주행차로 추정 장치(100)가 동작하는데 필요한 데이터 및/또는 알고리즘 등을 저장할 수 있다.
저장부(150)는 카메라(130)에 의해 촬영된 전방 영상이 저장될 수 있으며, GPS 모듈 또는 내비게이션 장치로부터 수신한 정보가 저장될 수 있다. 또한, 저장부(150)는 전방 영상으로부터 특징점을 추출하고, 영상 맵 매칭을 수행하기 위한 명령 및/또는 알고리즘이 저장될 수 있으며, 변경 차로를 인식하기 위한 명령 및/또는 알고리즘이 저장될 수 있다. 또한, 저장부(150)는 차로 추정부(190)에 의해 추정된 주행차로 정보가 저장될 수 있다.
또한, 저장부(150)는 정밀 맵 데이터가 저장된 정밀 맵 DB를 포함할 수도 있다.
여기서, 저장부(150)는 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다.
특징점 추출부(160)는 카메라(130)에 의해 촬영된 전방 영상 상의 관심영역을 결정하고, 결정된 관심영역의 크기를 변환한다. 이때, 특징점 추출부(160)는 크기 변환된 관심영역으로부터 특징점을 추출한다. 여기서, 특징점 추출부(160)는 SIFT(Scale-invariant feature transform) 알고리즘, 코너 검출(Corner Detection) 알고리즘 및 FAST 알고리즘 등을 이용하여 특징점을 추출할 수 있다.
일 예로, 특징점 추출부(160)는 SIFT 알고리즘을 통해 스케일-스페이스 익스트리마 디텍션(Scale-space extrema detection)을 수행하여 영상에서 특징적인 부분(도드라지게 나타나는 부분)을 찾는 방식을 이용하여 특징점을 추출하고, 키포인트 로컬리제이션(Keypoint Localization)을 수행하여 앞서 찾은 특징점들 중에서 강인한 특징을 갖는 특징점을 선별할 수 있다.
또한, 특징점 추출부(160)는 전방 영상의 관심영역으로부터 특징점을 중심으로 주변영역에 대한 특징점 서술자(descriptor)를 추출할 수 있다.
일 예로, 특징점 추출부(160)는 오리엔테이션 어사인먼트(Orientation Assignment) 방식을 이용하여 SIFT 특징점에 대응하는 SIFT 서술자를 추출할 수 있다. 이때, 특징점 추출부(160)는 특징점의 주변영역의 픽셀에 대해 그래디언트(Gradient)를 구하고, 각 픽셀들이 가리키는 방향을 구해 이 각도가 0도가 되도록 회전하여 회전한 부분 영상으로부터 SIFT 서술자를 추출할 수 있다.
또한, 특징점 주변의 픽셀(Pixel) 값들은 Orientation과 위치(특징점으로부터의 상대적인 위치값)에 기반한 히스토그램(Histogram)으로 나타내는데, 특징점 추출부(160)는 도 2의 (a)와 같이 특징점 주변영역의 영상패치를 4 x 4 블록으로 나누고, (b)와 같이 각 블록에 속한 픽셀들의 그래디언트 방향과 크기에 대한 히스토그램을 구한 후, 이 히스토그램의 데이터를 나타내는 각 구간의 빈(bin) 값들을 일렬로 연결하여 (c)와 같이 128차원 벡터의 특징점 서술자를 추출할 수 있다.
영상 매칭부(170)는 전방 영상의 관심영역과 정밀 맵 DB에 저장된 데이터를 이용하여 영상 맵 매칭을 수행한다.
여기서, 영상 매칭부(170)는 GPS 모듈의 GPS 데이터를 이용하여 해당 GPS 좌표 주변영역의 정밀 맵 DB를 호출할 수 있다. 정밀 맵 DB는 정밀 맵 데이터와 함께 각 특징 정보를 함께 저장할 수 있다. 이에 대한 실시예는 도 3을 참조하도록 한다.
도 3에 도시된 바와 같이, 정밀 맵 DB는 정밀 맵 데이터와 함께 정밀 맵의 특징에 대한 주행차로, DB ID, RTK(위도, 경도), 특징 수, 특징점 위치(x, y), 특징점 영역, 특징점 각도 및 서술자(Descriptor) 등을 함께 저장할 수 있다.
영상 매칭부(170)는 전방 영상의 관심영역으로부터 추출된 특징점 서술자와 정밀 맵 DB로부터 추출한 특징점 서술자를 비교하여 특징점의 유사성을 비교한다.
이때, 영상 매칭부(170)는 도 4에 도시된 바와 같이, 전방 영상의 관심영역에서 추출한 특징점 서술자들의 값 X0, X1, X2, X3, ..., XL과 정밀 맵 DB에 저장되어 있는 서술자들의 값을 매칭해서 그 차이를 비교하여 차이 제곱값의 합(Sum of Squared Differences, SSD)이 작은 경우 유사성이 높은 것으로 판단할 수 있다.
여기서, SSD는 아래 [수학식 1]을 이용하여 산출할 수 있다.
Figure 112016113573214-pat00001
[수학식 1]에서, Ii는 전방 영상의 관심영역에서 추출한 i 번째 특징점 서술자의 값, DB는 정밀 맵 DB로부터 추출한 i 번째 특징점 서술자의 값, N은 전체 특징점 서술자의 수를 의미한다.
이때, 영상 매칭부(170)는 SSD 값을 기반으로 매칭된 특징점들 중 두 번 이상 매칭된 특징점이 존재하면 전방 영상의 관심영역 내에서 매칭된 특징점과 정밀 맵 DB의 특징점 위치를 분석하여 하나의 매칭 결과를 선별할 수 있다. 일 예로, 영상 매칭부(170)는 공액 면(Epipolar plane) 이론을 기반으로 특징점들의 기하학적 위치를 분석하여 동일한 연장선상에 존재하는 것이 아닌 경우 제외시킬 수 있다.
영상 매칭부(170)는 전방 영상의 관심영역으로부터 추출된 특징점 중 정밀 맵 데이터와 매칭되는 특징점을 추출하고, 특징점에 대한 영상 맵 매칭 결과를 출력할 수 있다.
여기서, 영상 매칭부(170)는 추출된 전체 특징점 중 정해진 비율을 초과하는 수의 특징점이 매칭되면 차로 추정부(190)로 제1 신호를 출력할 수 있으며, 그렇지 않으면 차선 인식부(180)로 제2 신호를 출력할 수 있다.
일 예로, 영상 매칭부(170)는 추출된 전체 특징점 중 미리 설정된 기준치(α)를 초과하는 수의 특징점이 매칭되면 제1 신호를 출력할 수 있으며, 전체 특징점 중 기준치(α) 이하의 특징점이 매칭되면 제2 신호를 출력할 수 있다. 이에 대한 실시예는 도 5 및 도 6을 참조하도록 한다.
먼저, 도 5를 참조하면, 도 5의 (a)는 전방 영상의 관심영역을 나타낸 것이고, (b)는 정밀 맵 데이터를 나타낸 것이다. 미리 설정된 기준치(α)가 50%라 가정했을 때, 도 5의 경우 (a)에 도시된 전방 영상의 관심영역으로부터 추출된 특징점과 (b)의 정밀 맵 데이터로부터 추출된 특징점이 50% 보다 많이 매칭되는 것을 확인할 수 있다. 이 경우, 영상 매칭부(170)는 제1 신호를 출력할 수 있다.
한편, 도 6을 참조하면, 도 6의 (a)는 전방 영상의 관심영역을 나타낸 것이고, (b)는 정밀 맵 데이터를 나타낸 것이다. 도 6의 경우 도 5와 달리 (a)에 도시된 전방 영상의 관심영역으로부터 추출된 특징점과 (b)의 정밀 맵 데이터로부터 추출된 특징점이 거의 매칭되지 않는 것을 확인할 수 있다. 이 경우, 영상 매칭부(170)는 제2 신호를 출력할 수 있다.
차로 추정부(190)는 영상 매칭부(170)로부터 제1 신호가 출력되면, 영상 맵 매칭 결과를 이용하여 현재 주행차로를 추정할 수 있다.
일 예로, 도 7을 참조하면, 전방 영상에서 1차로 주변의 특징점들 중 매칭된 특징점들(711)이 매칭되지 않은 특징점들(721) 보다 많을 것을 확인할 수 있으며, 매칭된 특징점들(711)이 1차로 주변에 밀집된 것을 확인할 수 있다. 따라서, 차로 추정부(190)는 매칭된 특징점들(711)의 위치 등에 근거하여 주행차로를 1차로로 추정할 수 있다.
차로 추정부(190)는 주행차로 추정 결과를 저장부(150)에 저장할 수 있다. 여기서, 저장부(150)에 저장된 주행차로 추정 결과는 추후 주행차로를 추정하는데 활용될 수 있다.
한편, 차선 인식부(180)는 영상 매칭부(170)로부터 제2 신호가 출력되면, 전방 영상을 이용하여 전방차선을 인식하고, 차선 변경여부를 판단한다. 이때, 차선 인식부(180)는 좌측 차선 및 우측 차선과 차량 간 거리값을 추출하고, 추출된 거리값을 이용하여 차선 변경여부를 판단할 수 있다. 또한, 차선 인식부(180)는 차선 변경 시에 좌측 차선 및/또는 우측 차선과 차량 간 거리값에 따라 차선 변경 방향을 판단할 수 있다. 이에 대한 실시예는 도 8 및 도 9를 참조하도록 한다.
먼저, 도 8을 참조하면, (a)는 차선을 변경하는 차량의 위치 변화를 나타낸 것이고, (b)는 차량의 위치 변화에 따른 좌측 차선 및 우측 차선과 차량 량 거리값의 변화를 나타낸 것이다.
도 8의 (a) 및 (b)에 도시된 바와 같이, 차량이 주행차로에서 차츰 좌측으로 이동하면, 우측 차선과 차량 간 거리값은 점차 증가하고 좌측 차선과 차량 간 거리값을 점차 감소한다. 이후, 차량의 중심 위치가 좌측 차선에 도달하면 차량은 좌측 차로를 주행차로로 인식할 수 있다. 이 경우, 좌측 차로의 좌측 차선과 차량 간 거리값은 좌측 차로의 폭 만큼 벌어지게 되고, 우측 차선은 차량의 중심 위치에 도달해 있으므로 우측 차선과 차량 간 거리값은 0이 될 수 있다. 이후, 차량이 좌측 차로로 차츰 이동하면서 다시 우측 차선과 차량 간 거리값은 점차 증가하고 좌측 차선과 차량 간 거리값을 점차 감소하게 된다. 이에, 시간의 흐름에 따른 차선 변경 상황은 도 9와 같이 나타낼 수 있다.
따라서, 차선 인식부(180)는 좌측 차선 및 우측 차선과 차량 간 거리값을 이용하여 차선 변경여부 및 차선 변경 방향을 판단할 수 있다.
이에, 차선 인식부(180)는 차선 변경여부 판단 결과 및 차선 변경 방향의 판단 결과를 차로 추정부(190)로 제공한다.
이때, 차로 추정부(190)는 차선 인식부(180)에 의해 차량이 차선 변경하지 않은 것으로 확인되면, 기존에 인식한 주행차로를 유지하도록 한다. 한편, 차로 추정부(190)는 차선 인식부(180)에 의해 차량이 좌측 또는 우측 방향으로 차선 변경한 것으로 확인되면, 저장부(150)로부터 사전에 인식한 주행차로 정보를 호출하여 차선 변경한 방향의 차로를 인식하고, 현재 주행차로로 추정할 수 있다.
상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 차량의 주행차로 추정 방법에 대한 동작 흐름을 도시한 도면이다. 도 10 및 도 11의 과정들은 차량의 주행차로 추정 장치(100)가 이미 차로 추정 초기화 단계를 거쳐 초기 주행차로를 인식하고 있는 상태에서 그 이후에 수행되는 동작인 것으로 가정한다.
도 10을 참조하면, 차량의 주행차로 추정 장치(100)는 전방 영상이 입력되면(S110), 전방 영상 상의 관심영역을 선정하고(S120), 'S120' 과정에서 선정된 관심영역의 영상의 크기를 변환한다(S130).
또한, 차량의 주행차로 추정 장치(100)는 'S130' 과정에서 크기 변환된 관심영역의 영상으로부터 특징점을 추출한다(S140). 이때, 차량의 주행차로 추정 장치(100)는 특징점의 주변영역으로부터 특징점을 설명하는 특징점 서술자를 추출할 수 있다. 여기서, 특징점 서술자를 추출하는 구체적인 실시예는 도 2를 참조하도록 한다.
이후, 차량의 주행차로 추정 장치(100)는 GPS 주변영역의 정밀 맵 DB를 호출하고, 호출된 정밀 맵 DB의 특징점 서술자와 'S140' 과정에서 추출된 특징점 서술자의 유사성을 비교하여 특징점을 매칭한다(S150).
차량의 주행 차로 추정 장치(100)는 'S150' 과정의 매칭 결과, 매칭된 특징점의 수가 기준치(α)를 초과하는 경우(S160), 매칭된 특징점의 위치 등에 근거하여 전방 영상의 관심영역을 기준으로 주행차로를 추정한다(S170). 이때, 차량의 주행 차로 추정 장치(100)는 'S170' 과정에서 추정된 주행 차로 정보를 저장한다(S180).
한편, 'S150' 과정의 매칭 결과, 매칭된 특징점의 수가 기준치(α)를 초과하지 않는 경우(S160), 차량의 주행 차로 추정 장치(100)는 도 11의 'A' 이후 동작을 수행한다.
도 11을 참조하면, 차량의 주행 차로 추정 장치(100)는 도 10의 'S160' 과정에서 매칭된 특징점의 수가 기준치(α)를 초과하지 않는 것으로 확인되면, 입력된 전방 영상으로부터 차선, 예를 들어, 좌측 차선 및 우측 차선을 인식하고(S210, S220), 좌측 차선 및 우측 차선과 차량 간 거리를 계산한다(S230). 여기서, 도 10의 과정을 통해 이미 전방 영상이 입력된 상태라면 'S210' 과정은 생략될 수도 있다.
차량의 주행차로 추정 장치(100)는 'S230' 과정에서 계산된 좌측 차선 및 우측 차선과 차량 간 거리값의 변화를 통해 차로 변경을 인식할 수 있다.
일 예로, 우측 차선 및 차량 간 거리값이 점차 증가하고, 좌측 차선 및 차량 간 거리값이 점차 감소하는 경우 차량이 좌측 방향으로 이동하는 것으로 인식할 수 있으며, 이때 우측 차선 및 차량 간 거리값이 0이 되고 이후 우측 차선 및 차량 간 거리값이 점차 증가하는 경우, 차량의 주행차로 추정 장치(100)는 해당 차량이 좌측 차선으로 차선 변경한 것을 인식할 수 있다.
이와 같이, 차량의 주행차로 추정 장치(100)는 차로 변경이 인식되면(S240), 차로 변경 방향을 확인하여(S250), 변경된 방향의 차로를 주행차로로 추정한다(S260). 이때, 차량의 주행차로 추정 장치(100)는 추정된 주행차로 정보를 저장하도록 한다(S270).
한편, 'S240' 과정에서 차로 변경이 인식되지 않았다면, 차량의 주행차로 추정 장치(100)는 기 저장된 주행차로 정보를 통해 기존 주행차로를 인식하고, 인식된 기존 주행차로를 유지할 수 있다(S280).
이와 같이, 주행차로 추정이 완료된 후, 차량의 주행차로 추정 장치(100)는 다시 도 10 및 도 11의 과정들을 반복 수행하며 주행차로를 인식할 수 있다.
상기에서와 같이 동작하는 본 실시예에 따른 차량의 주행차로 추정 장치(100)는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 적어도 하나 이상의 프로세서(processor)로서 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
도 12는 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
도 12를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 주행차로 추정 장치 110: 제어부
120: 인터페이스부 130: 카메라
140: 통신부 150: 저장부
160: 특징점 추출부 170: 영상 매칭부
180: 차선 인식부 190: 차로 추정부

Claims (20)

  1. 카메라에 의해 촬영된 전방 영상 상의 관심영역으로부터 특징점을 추출하고, 상기 전방 영상에서 상기 특징점의 주변영역으로부터 제1 특징점 서술자를 추출하는 특징점 추출부;
    기 등록된 정밀 맵 DB로부터 GPS 정보에 대응하는 정밀 맵 데이터 및 상기 정밀 맵 데이터에 대한 제2 특징점 서술자를 추출하고, 상기 제1 특징점 서술자 및 상기 제2 특징점 서술자의 유사성을 판단하여 상기 특징점을 상기 정밀 맵 데이터에 매칭하는 영상 매칭부; 및
    상기 추출된 특징점의 매칭 결과에 따라 차량의 주행차로를 추정하는 차로 추정부
    를 포함하고,
    상기 영상 매칭부는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 정해진 기준치를 초과하는지 여부를 판단하고,
    상기 차로 추정부는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 상기 정해진 기준치를 초과하지 않으면, 이전 주행차로 정보 및 차선 변경 정보에 근거하여 주행차로를 추정하는 것을 특징으로 하는 차량의 주행차로 추정 장치.
  2. 청구항 1에 있어서,
    상기 정밀 맵 DB는,
    상기 정밀 맵 데이터로부터 추출된 특징에 대응하는 주행차로, DB ID, 위도, 경도, 특징 수, 특징점 위치, 특징점 영역, 특징점 각도 및 특징점 서술자(Descriptor) 중 하나 이상의 정보가 등록된 것을 특징으로 하는 차량의 주행차로 추정 장치.
  3. 청구항 1에 있어서,
    상기 영상 매칭부는,
    상기 제1 특징점 서술자 및 상기 제2 특징점 서술자의 차이 제곱값의 합을 계산하여 상기 차이 제곱값의 합이 정해진 값 보다 작은 경우 유사성이 높은 것으로 판단하는 것을 특징으로 하는 차량의 주행차로 추정 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 차로 추정부는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 상기 정해진 기준치를 초과하면, 이전 주행차로 정보 및 상기 정밀 맵 데이터에 매칭된 특징점의 위치에 근거하여 주행차로를 추정하는 것을 특징으로 하는 차량의 주행차로 추정 장치.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 전방 영상으로부터 전방의 좌측 차선 및 우측 차선을 인식하고, 상기 좌측 차선 및 상기 우측 차선과 차량 간 거리값의 변화를 이용하여 차선 변경 여부 및 차선 변경 방향을 인식하는 차선 인식부를 더 포함하는 것을 특징으로 하는 차량의 주행차로 추정 장치.
  8. 청구항 7에 있어서,
    상기 차선 인식부는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 상기 정해진 기준치를 초과하지 않으면, 상기 차선 변경 여부 및 상기 차선 변경 방향을 인식하는 것을 특징으로 하는 차량의 주행 차로 추정 장치.
  9. 청구항 1에 있어서,
    상기 특징점 추출부는,
    SIFT(Scale-invariant feature transform) 알고리즘, 코너 검출(Corner Detection) 알고리즘 및 FAST 알고리즘 중 하나 이상의 특징점 검출 알고리즘을 이용하여 특징점을 추출하는 것을 특징으로 하는 차량의 주행차로 추정 장치.
  10. 청구항 1에 있어서,
    상기 특징점 추출부는,
    상기 특징점의 주변영역의 픽셀들에 대해 그래디언트(Gradient)를 구하고, 상기 픽셀들이 가리키는 방향의 각도가 0도가 되도록 영상을 회전하여 상기 회전된 영상으로부터 특징점 서술자를 추출하는 것을 특징으로 하는 차량의 주행차로 추정 장치.
  11. 청구항 1에 있어서,
    상기 특징점 추출부는,
    상기 특징점의 주변영역의 영상을 정해진 비율의 블록으로 나누고, 각 블록에 속한 픽셀들의 그래디언트 방향과 크기에 대한 히스토그램을 산출하여 128차원 벡터의 특징점 서술자를 추출하는 것을 특징으로 하는 차량의 주행 차로 추정 장치.
  12. 청구항 1에 있어서,
    이전 주행차로 정보 및 상기 추정된 주행차로 정보가 저장되는 저장부를 더 포함하는 것을 특징으로 하는 차량의 주행차로 추정 장치.
  13. 카메라에 의해 촬영된 전방 영상 상의 관심영역으로부터 특징점을 추출하고, 상기 전방 영상에서 상기 추출된 특징점의 주변영역으로부터 제1 특징점 서술자를 추출하는 단계;
    기 등록된 정밀 맵 DB로부터 GPS 정보에 대응하는 정밀 맵 데이터 및 상기 정밀 맵 데이터에 대한 제2 특징점 서술자를 추출하는 단계;
    상기 제1 특징점 서술자 및 상기 제2 특징점 서술자의 유사성을 판단하여 상기 추출된 특징점을 상기 정밀 맵 데이터에 매칭하는 단계; 및
    상기 추출된 특징점의 매칭 결과에 따라 차량의 주행차로를 추정하는 단계
    를 포함하고,
    상기 매칭하는 단계는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 정해진 기준치를 초과하는지 여부를 판단하는 단계를 포함하고,
    상기 차량의 주행차로를 추정하는 단계는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 상기 정해진 기준치를 초과하지 않으면, 이전 주행차로 정보 및 차선 변경 정보에 근거하여 주행차로를 추정하는 단계를 포함하는 것을 특징으로 하는 차량의 주행차로 추정 방법.
  14. 청구항 13에 있어서,
    상기 매칭하는 단계는,
    상기 제1 특징점 서술자 및 상기 제2 특징점 서술자의 차이 제곱값의 합을 계산하는 단계; 및
    상기 차이 제곱값의 합이 정해진 값 보다 작은 경우 유사성이 높은 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 차량의 주행차로 추정 방법.
  15. 삭제
  16. 청구항 13에 있어서,
    상기 차량의 주행차로를 추정하는 단계는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 상기 정해진 기준치를 초과하면, 이전 주행차로 정보 및 상기 정밀 맵 데이터에 매칭된 특징점의 위치에 근거하여 주행차로를 추정하는 것을 특징으로 하는 차량의 주행차로 추정 방법.
  17. 삭제
  18. 청구항 13에 있어서,
    상기 전방 영상으로부터 전방의 좌측 차선 및 우측 차선을 인식하고, 상기 좌측 차선 및 상기 우측 차선과 차량 간 거리값의 변화를 이용하여 차선 변경 여부 및 차선 변경 방향을 인식하는 단계를 더 포함하는 것을 특징으로 하는 차량의 주행차로 추정 방법.
  19. 청구항 18에 있어서,
    상기 인식하는 단계는,
    상기 추출된 특징점 중 상기 정밀 맵 데이터에 매칭된 특징점의 수가 상기 정해진 기준치를 초과하지 않으면, 상기 차선 변경 여부 및 상기 차선 변경 방향을 인식하는 것을 특징으로 하는 차량의 주행 차로 추정 방법.
  20. 청구항 13에 있어서,
    상기 추정된 주행차로 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 차량의 주행차로 추정 방법.
KR1020160155118A 2016-11-21 2016-11-21 차량의 주행차로 추정 장치 및 방법 KR102441053B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160155118A KR102441053B1 (ko) 2016-11-21 2016-11-21 차량의 주행차로 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160155118A KR102441053B1 (ko) 2016-11-21 2016-11-21 차량의 주행차로 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180057029A KR20180057029A (ko) 2018-05-30
KR102441053B1 true KR102441053B1 (ko) 2022-09-06

Family

ID=62300096

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160155118A KR102441053B1 (ko) 2016-11-21 2016-11-21 차량의 주행차로 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102441053B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
WO2021010503A1 (ko) * 2019-07-12 2021-01-21 엘지전자 주식회사 인공지능 공기청정장치, 그의 제어 방법, 및 그와 연결되는 인공지능 장치
KR102218588B1 (ko) 2019-12-19 2021-02-22 한국항공우주연구원 위성 신호를 이용한 지상에서의 지형인식과 위치결정 방법
KR102262475B1 (ko) 2019-12-19 2021-06-08 한국항공우주연구원 이중차분 반송파 궤적정보 및 정밀지도와 과속방지턱을 이용한 차로구분 및 종방향 위치결정 방법
KR102391373B1 (ko) 2019-12-19 2022-04-28 한국항공우주연구원 이중차분 위성항법 반송파 측정값기반 이동체 궤적정보와 정밀지도 결합 차로식별 방법
CN113591847B (zh) * 2021-07-28 2022-12-20 北京百度网讯科技有限公司 一种车辆定位方法、装置、电子设备及存储介质
KR102498538B1 (ko) * 2022-03-02 2023-02-10 렉스젠(주) 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128356A (ja) * 2007-11-26 2009-06-11 Korea Electronics Telecommun カーナビゲーションシステムおよび方法
KR101617345B1 (ko) * 2014-12-03 2016-05-02 현대모비스 주식회사 차량의 주행차로 추정 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101072876B1 (ko) * 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128356A (ja) * 2007-11-26 2009-06-11 Korea Electronics Telecommun カーナビゲーションシステムおよび方法
KR101617345B1 (ko) * 2014-12-03 2016-05-02 현대모비스 주식회사 차량의 주행차로 추정 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
곽민규외 4. 특징점 정합 필터 결합 SIFT를 이용한 상대 위치 추정. 한국항공우주학회지 제37권제8호, 2009.08., pp. 759-768. 1부.*

Also Published As

Publication number Publication date
KR20180057029A (ko) 2018-05-30

Similar Documents

Publication Publication Date Title
KR102441053B1 (ko) 차량의 주행차로 추정 장치 및 방법
US10867189B2 (en) Systems and methods for lane-marker detection
KR102529903B1 (ko) 차량의 위치 추정 장치 및 방법
US10395377B2 (en) Systems and methods for non-obstacle area detection
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
WO2019042426A1 (zh) 增强现实场景的处理方法、设备及计算机存储介质
US11042966B2 (en) Method, electronic device, and storage medium for obtaining depth image
CN110807350A (zh) 用于面向扫描匹配的视觉slam的系统和方法
TW201539378A (zh) 物件偵測系統
CN113409583B (zh) 一种车道线信息确定方法及装置
KR20200084943A (ko) 차량의 자기위치 추정 장치 및 그 방법
CN111656404B (zh) 图像处理方法、系统及可移动平台
KR20180065666A (ko) 차량의 영상 처리 장치 및 방법
KR20160128967A (ko) 촬영 영상을 이용한 길 안내 시스템 및 방법
KR102485323B1 (ko) 차량 검출 장치, 그를 포함한 시스템 및 그 방법
US20230069608A1 (en) Object Tracking Apparatus and Method
CN107844749B (zh) 路面检测方法及装置、电子设备、存储介质
CN110689556A (zh) 跟踪方法、装置及智能设备
Chen et al. Integrated vehicle and lane detection with distance estimation
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
JP7293100B2 (ja) カメラシステム
CN113065392A (zh) 一种机器人的跟踪方法和装置
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端
CN112614162B (zh) 基于空间优化策略的室内视觉快速匹配定位方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant