KR101605514B1 - 차선 인식 장치 및 방법 - Google Patents

차선 인식 장치 및 방법 Download PDF

Info

Publication number
KR101605514B1
KR101605514B1 KR1020140024568A KR20140024568A KR101605514B1 KR 101605514 B1 KR101605514 B1 KR 101605514B1 KR 1020140024568 A KR1020140024568 A KR 1020140024568A KR 20140024568 A KR20140024568 A KR 20140024568A KR 101605514 B1 KR101605514 B1 KR 101605514B1
Authority
KR
South Korea
Prior art keywords
lane
image
outline
interest
roi
Prior art date
Application number
KR1020140024568A
Other languages
English (en)
Other versions
KR20150102546A (ko
Inventor
김병호
Original Assignee
주식회사 코아로직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코아로직 filed Critical 주식회사 코아로직
Priority to KR1020140024568A priority Critical patent/KR101605514B1/ko
Priority to JP2014131240A priority patent/JP2015165376A/ja
Priority to US14/318,442 priority patent/US20150248771A1/en
Publication of KR20150102546A publication Critical patent/KR20150102546A/ko
Application granted granted Critical
Publication of KR101605514B1 publication Critical patent/KR101605514B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 연산량이 적고 관심 영역의 유연성 있는 보정에 의해 신속성, 에너지 효율성 및 정확성이 향상될 수 있는 차선 인식 장치 및 방법을 개시한다. 본 발명에 따른 차선 인식 장치는, 차량의 도로 주행 영상에서 차선의 외곽선을 추출하는 차선 외곽선 추출부; 상기 도로 주행 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선의 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출하는 차선 검출부; 및 상기 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석하는 차선 위치 분석부를 포함한다.

Description

차선 인식 장치 및 방법{Apparatus and method for recognizing lane}
본 발명은 차선 인식 기술에 관한 것으로, 보다 상세하게는 차량용 블랙박스와 같은 카메라 센서를 통해 입력된 차량의 도로 주행 영상으로부터 차선을 신속하고 정확하게 인식하는 장치 및 방법에 관한 것이다.
최근 차량의 주행 시 안전성 내지 운전 편의성 등을 증대시키기 위한 다양한 장치가 차량에 도입되고 있다. 그 중 대표적인 것이 도로 주행 시 차선을 인식하고, 이러한 차선 인식 정보로부터 차선 이탈 여부를 감지하는 등 관련 정보를 운전자에게 제공해주는 시스템이다.
종래의 차선 인식 기술은, 블랙박스와 같은 카메라 센서를 통해 도로 주행 영상이 입력되면, 입력된 영상에 대하여 차선을 인식하기 위해 대표적으로 허프 변환(Hough Trasformation) 방식을 이용한다. 이러한 허프 변환 방식에 의하면, X-Y 좌표계의 차선을 θ-ρ 좌표계로 변환하여 차선을 검출함으로써, 차선의 위치를 분석한다. 이러한 허프 변환 방식에 대해서는, 도 1을 참조하여 보다 구체적으로 설명하도록 한다.
도 1은, 종래의 허프 변환 방식에 의한 X-Y 좌표계와 θ-ρ 좌표계의 변환 관계를 나타내는 도면이다.
도 1을 참조하면, X-Y 좌표계와 θ-ρ 좌표계 사이에는, 다음과 같은 관계식이 성립될 수 있다.
ρ=xcosθ+ysinθ
종래의 허프 변환 방식에 의해 차선 이탈을 감지하는 기술에 의하면, X-Y 좌표계의 차선을 θ-ρ 좌표계로 변환하여 차선을 검출한다. 즉, θ와 ρ를 변경하면서, 차선의 외곽선(edge)과 상기 관계식이 교차하는 선을 검출하여, θ-ρ 좌표계에서 차선의 관계식을 구한다. 그리고, 검출한 차선의 위치를 분석하기 위해, θ-ρ 좌표계에서 다시 X-Y 좌표계로 역변환(inverse hough transformation)하는 과정을 거쳐 차선의 위치를 구한다.
그런데, 이러한 종래의 허프 변환 방식을 이용하여 차선을 인식하고 그 위치를 분석하는 기술에 의하면, 허프 변환, 역변환 등이 수행되어야 하고 삼각함수가 많이 사용되므로, 연산량이 많아 연산 속도가 느리다는 문제가 있다. 때문에, 이러한 많은 연산량을 적절하게 처리하기 위해서는 고성능 CPU가 필요할 뿐 아니라, 전력 소모가 많아지는 문제도 발생할 수 있다.
또한, 종래의 차선 인식 기술 중 일부 기술에 의하면, 차선 인식의 속도를 높이고자, 카메라 센서를 통해 입력된 영상 화면 전체 중 일부 특정 영역을 관심 영역으로 지정하여, 그러한 관심 영역 내에서 차선이 검출되도록 한다. 그러나, 이러한 종래 기술의 경우, 관심 영역이 고정되어, 실제 차선이 그러한 관심 영역을 벗어나 있는 경우 실제 차선의 정확한 검출이 어렵고, 차선의 위치에 따라 불필요한 관심 영역이 과다하게 존재할 수 있어, 차선 인식의 정확성 및 속도를 향상시키는데 한계가 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 연산량이 적고 관심 영역의 유연성 있는 보정에 의해 신속성, 에너지 효율성 및 정확성이 향상될 수 있는 차선 인식 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 차선 인식 장치는, 차량의 도로 주행 영상에서 차선의 외곽선을 추출하는 차선 외곽선 추출부; 상기 도로 주행 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선의 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출하는 차선 검출부; 및 상기 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석하는 차선 위치 분석부를 포함한다.
바람직하게는, 상기 차선 검출부에 의해 도출된 1차 함수 관계식을 이용하여, 영상에 대한 관심 영역을 설정하는 관심 영역 설정부를 더 포함하고, 상기 차선 외곽선 추출부는 상기 관심 영역 설정부에 의해 설정된 관심 영역 이내의 차선에 대한 외곽선을 추출한다.
또한 바람직하게는, 상기 차선 검출부에 의해 2개의 1차 함수 관계식이 도출된 경우, 상기 관심 영역 설정부는, 상기 2개의 1차 함수 관계식의 교점을 소실점으로서 산출하고, 산출된 소실점을 이용하여 상기 관심 영역을 설정한다.
또한 바람직하게는, 상기 관심 영역 설정부는, 상기 소실점의 y 좌표값을 상기 관심 영역의 y좌표 상한값으로 설정하고, 상기 차량의 본넷에 대한 y 좌표값을 탐색하여 탐색된 본넷의 y 좌표값을 상기 관심 영역의 y좌표 하한값으로 설정한다.
또한 바람직하게는, 상기 관심 영역 설정부는, 상기 소실점의 위치 및 상기 차로의 너비 정보를 이용하여 기설정된 관심 영역을 보정한다.
또한 바람직하게는, 상기 차선 검출부는, 상기 x와 y 사이의 1차 함수 관계식으로서 다음 관계식을 도출하되,
Figure 112014020432875-pat00001
여기서, x 및 y는 변수이고, a는 상수로서 y값의 증가량에 대한 x값의 증가량의 비율, yb는 상기 관심 영역의 y좌표 하한값, xd는 상기 관심 영역의 하한선에서 상기 1차 함수 관계식의 x 좌표값을 나타낸다.
또한 바람직하게는, 상기 차선 검출부는, 상기 관심영역의 상한선에 위치하는 t점 및 상기 관심영역의 하한선에 위치하는 d점을 각각 수평 방향으로 이동시키면서, t점과 d점 사이를 연결하는 직선이 상기 차선 외곽선 추출부에 의해 추출된 차선 외곽선에 중첩되는 화소수가 가장 많을 때 상기 t점과 d점 사이를 연결하는 직선에 대한 x와 y 사이의 관계식을 상기 1차 함수 관계식으로서 도출한다.
또한 바람직하게는, 상기 차선 검출부는, 상기 1차 함수 관계식으로서 다음 관계식을 도출하되,
Figure 112014020432875-pat00002
여기서, x 및 y는 변수이고, xt 및 yv는 상기 t점의 x 좌표값 및 y 좌표값을 나타내며, xd 및 yb는 상기 d점의 x 좌표값 및 y 좌표값을 나타낸다.
또한 바람직하게는, 차량의 도로 주행 영상에서 차선 이외의 영상을 적어도 일부 제거하여 차선을 추출함으로써, 차선 추출 영상을 생성하는 차선 추출부를 더 포함하고, 상기 차선 외곽선 추출부는, 상기 차선 추출 영상에서 추출된 차선에 대하여 외곽선을 추출한다.
또한 바람직하게는, 상기 차선 추출부는, 상기 도로 주행 영상을 그레이 영상으로서 입력받고, 상기 차선 추출 영상을 이진화 영상으로서 생성한다.
또한 바람직하게는, 상기 차선 추출부는, 상기 그레이 영상을 입력받아, 밝기 임계값을 산출하는 차로 밝기 산출 파트; 상기 그레이 영상에서 상기 밝기 임계값 이상의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성하는 밝기 기반 필터링 파트; 및 상기 밝기 기반 필터링 파트에 의해 추출된 화소 중 너비를 참조 너비 범위와 비교하여, 상기 참조 너비 범위를 벗어난 너비를 갖는 화소를 상기 이진화 영상에서 제거하는 너비 기반 필터링 파트를 구비한다.
또한 바람직하게는, 상기 차로 밝기 산출 파트는, 차로에 해당하는 부분을 다수의 영역으로 분할하여, 각 영역에서 화소 밝기 평균값을 계산하고, 상기 화소 밝기 평균값을 기준으로 밝기 임계값을 산출한다.
또한 바람직하게는, 상기 너비 기반 필터링 파트는, 차로 너비에 대한 차선 너비의 비율을 산출하고, 산출된 비율을 참조 비율 범위와 비교하여, 상기 참조 비율 범위를 벗어난 비율을 갖는 화소를 상기 이진화 영상에서 제거한다.
또한 상기와 같은 목적을 달성하기 위한 본 발명에 따른 차선 인식 방법은, 차량의 도로 주행 영상에서 차선의 외곽선을 추출하는 단계; 상기 도로 주행 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선의 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출하는 단계; 및 상기 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석하는 단계를 포함한다.
본 발명의 일 측면에 의하면, 종래 기술에 비해 차선 인식 과정에서의 연산량이 적어 연산 속도가 향상될 수 있다.
특히, 본 발명에 의할 경우, 차선 인식을 위해, X-Y 좌표계에서 x, y 사이의 1차 함수 관계식을 이용하며, 종래 기술과 같이 삼각 함수를 이용한 허프 변환 및 허프 역변환 과정을 거칠 필요가 없다.
따라서, 본 발명의 이러한 측면에 의할 경우, 차선 인식 속도가 효과적으로 향상될 수 있고, 연산을 위한 많은 전력 소모를 필요로 하지 않으므로 에너지 효율성이 향상될 수 있다. 또한, 본 발명의 이러한 측면에 의할 경우, 고성능 CPU를 필요로 하지 않으므로 제조 비용이 감소할 수 있다. 특히, 본 발명의 구현을 위해, 범용 CPU가 이용될 수 있으며, 더욱이 이러한 범용 CPU에 포함되어 있는 FPU(Floating Point Unit)로 사용 가능하여 연산 속도가 더욱 빨라질 수 있다.
또한, 본 발명의 일 측면에 의하면, 블랙박스와 같은 카메라 센서를 통해 입력된 차량의 도로 주행 영상에서, 차선을 인식하기 위한 유효 영역인 관심 영역이 고정되어 있지 않고, 이러한 관심 영역이 상황에 따라 보정될 수 있다.
따라서, 본 발명의 이러한 측면에 의하면, 착탈식 영상 촬영 장치와 같이, 카메라의 화각이나 설치 위치 등이 변경되거나, 차로의 곡률이나 너비 등 각종 도로 상황이 변경되는 경우에도, 관심 영역이 유연성 있게 보정됨으로써 차선 인식의 정확성이 향상되고, 연산량이 감소될 수 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은, 종래의 허프 변환 방식에 의한 X-Y 좌표계와 θ-ρ 좌표계의 변환 관계를 나타내는 도면이다.
도 2는, 본 발명의 일 실시예에 따른 차선 인식 장치의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 3은, 영상 촬영 장치에 의해 촬영된 도로 주행 영상의 일례를 나타내는 도면이다.
도 4는, 본 발명의 일 실시예에 따른 차선의 외곽선이 추출된 영상을 개략적으로 도식화하여 나타내는 도면이다.
도 5는, 차선 검출부에 의한 차선 외곽선에 대응하는 1차 함수 관계식이 X-Y 좌표계 상에서 도출되는 구성을 개략적으로 도식화하여 나타내는 도면이다.
도 6은, 본 발명의 일 실시예에 따라 도로 주행 영상에 대하여 관심 영역이 설정된 구성을 개략적으로 나타내는 도면이다.
도 7은, 본 발명의 일 실시예에 따라 도로 주행 영상의 관심 영역 내에서 차선에 대응하는 1차 함수 관계식을 도출하는 과정을 도식화하여 나타내는 도면이다.
도 8은, 본 발명의 일 실시예에 따른 관심 영역의 보정 구성을 도식화하여 나타내는 도면이다.
도 9는, 본 발명의 일 실시예에 따른 차선 추출부의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 10은, 본 발명의 일 실시예에 따른 차로 밝기 산출 파트에 의해 밝기 임계값을 산출하는 구성을 도식화한 도면이다.
도 11은, 본 발명의 일 실시예에 따른 차선 인식 방법을 개략적으로 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 2는, 본 발명의 일 실시예에 따른 차선 인식 장치(100)의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 2를 참조하면, 본 발명에 따른 차선 인식 장치(100)는, 차선 외곽선 추출부(110), 차선 검출부(120) 및 차선 위치 분석부(130)를 포함한다.
한편, 본 명세서에서, 차선이란, 차량의 주행 방향을 나타내는 각종 선으로서 광의의 의미로서 사용되며, 1차선, 2차선 등과 같이 일반적으로 하나의 도로에서 동일 방향으로 주행 중인 차량의 주행 진로를 구분하기 위한 협의의 의미에서의 차선은 물론, 중앙선, 길가장자리구역선, 진로변경제한선, 유턴구역선, 전용차선, 유도선 등을 포함할 수 있다.
본 발명에 따른 차선 인식 장치는, 그 기능을 구현하기 위해 영상 촬영 장치(10)에 의해 촬영된 도로 주행 영상을 이용할 수 있다. 즉, 영상 촬영 장치(10)는, 차량의 도로 주행 영상을 촬영할 수 있으며, 촬영한 도로 주행 영상을 차선 인식 장치로 제공할 수 있다.
도 3은, 영상 촬영 장치(10)에 의해 촬영된 도로 주행 영상의 일례를 나타내는 도면이다.
도 3에 도시된 바와 같이, 영상 촬영 장치(10)는 카메라 센서를 구비하여 차량의 도로 주행 영상을 촬영할 수 있는 구성요소로서, 차량용 블랙박스가 그 대표적인 형태라 할 수 있다. 다만, 본 발명은 이러한 영상 촬영 장치의 특정 형태에 의해 제한되는 것은 아니며, 영상을 촬영할 수 있는 다양한 장치가 이러한 영상 촬영 장치로서 이용될 수 있다. 예를 들어, 종래의 차량용 블랙박스는 물론, 영상을 촬영할 수 있는 다른 장치, 이를테면 휴대폰이나 스마트폰, 노트북이나 태블릿 PC 등과 같은 다른 여러 장치가 영상 촬영 장치로서 이용될 수 있다.
한편, 도 2에서는, 영상 촬영 장치가 본 발명에 따른 차선 인식 장치에 포함되지 않는 것처럼 도시되어 있으나, 영상 촬영 장치는 본 발명에 따른 차선 인식 장치의 한 구성요소로 포함될 수도 있음은 물론이다. 예를 들어, 본 발명에 따른 차선 인식 장치는, 영상 촬영부를 포함하며, 차선을 인식하기 위한 도로 주행 영상을 이러한 영상 촬영부를 이용하여 직접 촬영할 수 있다.
상기 차선 외곽선 추출부(110)는, 영상 촬영 장치에 의해 촬영된 도로 주행 영상에서, 차선의 외곽선(edge)을 추출할 수 있다.
도 4는, 본 발명의 일 실시예에 따른 차선의 외곽선이 추출된 영상을 개략적으로 도식화하여 나타내는 도면이다.
도 4를 참조하면, 차선 외곽선 추출부(110)는, L로 표시된 바와 같이, 도로 주행 영상에 포함된 차선에 대하여 그 외곽선을 추출할 수 있다. 일반적으로 차선은 4개의 변을 갖는 사각형 형태로 형성되기 때문에, 각 차선에 대하여 외곽선은 좌측변과 우측변, 상부변과 하부변을 구비하는 형태로 구성될 수 있다. 따라서, 차선 외곽선 추출부(110)는 이러한 차선의 외곽선으로서, 좌측 선분과 우측 선분, 상부 선분과 하부 선분을 추출할 수 있다. 다만, 차선이 실선으로 구성된 경우, 차선 외곽선 추출부(110)는 소정 시간동안 차선의 외곽선으로서 좌측 선분과 우측 선분만 추출할 수도 있다.
특히, 차선 외곽선 추출부(110)는, 캐니 알고리즘(Canny algorithm)을 이용하여, 차선의 외곽선을 추출할 수 있다. 다만, 본 발명이 반드시 이러한 실시예로 한정되는 것은 아니며, 차선 외곽선 추출부(110)는 다른 다양한 방식으로 차선의 외곽선을 추출할 수 있다.
상기 차선 검출부(120)는, 도로 주행 영상에 대하여 X-Y 좌표계를 기준으로, 차선 외곽선 추출부(110)에 의해 추출된 차선 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출할 수 있다. 이러한 차선 검출부(120)의 차선에 대한 관계식 도출 구성에 대해서는 도 5를 참조하여, 보다 상세하게 설명하도록 한다.
도 5는, 차선 검출부(120)에 의한 차선 외곽선에 대응하는 1차 함수 관계식이 X-Y 좌표계 상에서 도출되는 구성을 개략적으로 도식화하여 나타내는 도면이다.
도 5를 참조하면, 차선 외곽선 추출부(110)에 의해 차량의 도로 주행 영상에 대하여 차선의 외곽선이 추출된 경우, 차선 검출부(120)는, 이와 같이 차선의 외곽선이 추출된 영상을 이용하여 차선의 외곽선에 대한 관계식을 X-Y 좌표계상에서 도출할 수 있다.
즉, 도로 주행 영상에 대하여 각 화소의 위치는, 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계 상에서 설명될 수 있다. 이때, 이러한 x축과 y축이 교차하는 원점은, 이를테면 도면에 표시된 바와 같이 도로 주행 영상의 좌측 상단 부분이 될 수 있다.
상기 차선 검출부(120)는, 도로 주행 영상에 대하여 이러한 X-Y 좌표계를 기준으로 차선 외곽선에 대응되는 x와 y 사이의 1차 함수 관계식을 도출할 수 있다. 여기서, 1차 함수 관계식은 X-Y 좌표계 상에서 직선을 나타내므로, 상기 차선 검출부(120)는 차선 외곽선에 대응되는 직선을 도출한다고 할 수 있다.
이때, 차선 검출부(120)는, 차선의 외곽선 중 내측 선분에 해당되는 부분을 기초로 그에 대응되는 직선을 도출할 수 있다. 여기서, 내측 선분이란, 하나의 차선에 대하여 차량의 수직 중심축에 가까운 측 선분을 의미하는 것으로서, 좌측 차선 외곽선을 기준으로 하면 우측 선분을 의미하고, 우측 차선 외곽선을 기준으로 하면 좌측 선분을 의미한다고 할 수 있다.
특히, 상기 차선 검출부(120)는, 차선 추출 영상에서 차선 외곽선에 중첩되는 화소수가 가장 많은 직선에 대한 관계식을, 그러한 차선 외곽선에 대응하는 1차 함수 관계식으로 도출할 수 있다.
예를 들어, 도 5의 실시예에서, 상기 차선 검출부(120)는, 도로 주행 영상 중 좌측 차선에 대응되는 직선으로서, 좌측 차선의 외곽선과 가장 많은 중첩 화소를 갖는 A1과 같은 직선을 파악할 수 있다. 그리고, 상기 차선 검출부(120)는, 이와 같이 파악된 A1에 대응하는 관계식을 좌측 차선에 대응하는 1차 함수 관계식으로서 도출할 수 있다.
이때, 상기 차선 검출부(120)는, 좌측 차선에 대응하는 1차 함수 관계식을, 도 5의 X-Y 좌표계 상에서 다음의 수학식 1과 같은 형태로 도출할 수 있다.
Figure 112014020432875-pat00003
여기서, x 및 y는 X-Y 좌표계 상에서 변수를 나타내고, a는 직선 A1의 기울기를 나타내며, xd 및 yb는 임의의 점 d의 위치 좌표를 나타낸다.
한편, 상기 차선 검출부(120)는, 도로 주행 영상 중 우측 차선에 대응되는 직선으로서, 우측 차선의 외곽선과 가장 많은 중첩 화소를 갖는 A2와 같은 직선을 파악할 수 있다. 그리고, 상기 차선 검출부(120)는, 이와 같이 파악된 A2에 대응하는 관계식을 우측 차선에 대응하는 1차 함수 관계식으로서 도출할 수 있다.
여기서, 상기 수학식 1의 기울기 a는, x, y 좌표 상의 2점, v(xv, yv)와 d(xd, yb)를 이용하여 다음과 같이 표시될 수 있다.
Figure 112014020432875-pat00004
따라서, 상기 수학식 2를 수학식 1에 대입하면, 수학식 1은 다음과 같이 정리될 수 있다.
Figure 112014020432875-pat00005
이러한 수학식 3은, 상기 수학식 1을 x, y 좌표 상의 두 점(v점 및 d점)의 위치로 표기한 것이라 할 수 있다.
한편, 도 5에 도시된 바와 같이, 점 v(xv, yv)는 좌측 차선에 대응하는 직선 A1과 우측 차선에 대응하는 직선 A2의 교점일 수 있는데, 이 경우 상기 교점 v는 도로 주행 영상의 소실점에 해당된다고 할 수 있다. 그리고, 영상에 투영된 차선은 소실점으로 수렴하므로, 상기 차선 검출부(120)는 이후에 차선에 대응되는 1차 함수 관계식을 도출할 때 이러한 소실점을 이용할 수 있다. 즉, 상기 차선 검출부(120)는 소실점 v를 기준으로, 직선 A1에 대한 기울기를 변경하면서, 좌측 차선에 대응하는 직선과 그에 대한 1차 함수 관계식을 찾을 수 있다. 또한, 상기 차선 검출부(120)는, 소실점 v를 기준으로, 직선 A2에 대한 기울기를 변경하면서, 우측 차선에 대응하는 직선과 그에 대한 1차 함수 관계식을 찾을 수 있다.
상기 차선 위치 분석부(130)는, 차선 검출부(120)에 의해 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석한다. 특히, 상기 차선 위치 분석부(130)는, 차선의 위치로서 차선에 대응하는 직선상의 한 점을 차선의 위치로서 분석할 수 있다.
예를 들어, 상기 차선 위치 분석부(130)는, 도 5의 실시예에서, 좌측 차선에 대응하는 직선상의 임의의 한 점, 이를테면 y 좌표가 yb인 d점을 기준으로 d점의 x좌표인 xd를 차선의 위치로 인식할 수 있다.
상기 차선 위치 분석부(130)는, 좌측 차선의 위치와 우측 차선의 위치를 각각 분석할 수 있다. 그리고, 이와 같은 좌측 차선과 우측 차선의 위치로부터 차로의 너비를 구할 수 있다. 이때, 상기 차선 위치 분석부(130)는, 이와 같이 구해진 차로의 너비를 차로 너비 참조값과 비교하여, 차로의 너비가 참조값보다 작을 경우, 차선 이외의 노면 표시 등이 차선으로 잘못 인식된 것으로 판단하고, 이러한 정보를 다른 구성요소, 이를테면 차선 검출부(120) 등에 제공할 수 있다.
또한, 상기 차선 위치 분석부(130)는, 분석된 차선의 위치가 차로 중앙에 있고, 차선의 기울기가 수직에 가깝다고 판단될 경우, 해당 차선에 대해서는 다른 노면 표시가 차선으로 잘못 인식된 것으로 판단할 수 있다.
바람직하게는, 상기 차선 인식 장치는, 도 2에 도시된 바와 같이, 관심 영역 설정부(140)를 더 포함할 수 있다.
상기 관심 영역 설정부(140)는, 도로 주행 영상에서 관심 영역을 설정한다. 여기서, 관심 영역이란, 도로 주행 영상에서 차선을 인식하고자 하는 유효 영역을 의미한다고 할 수 있다. 따라서, 도로 주행 영상에서 관심 영역 이외의 영역은, 관심이 없는 영역, 즉 차선을 인식하지 않고자 하는 영역을 의미한다고 할 수 있다.
그러므로, 본 발명의 이러한 구성에 의하면, 유효한 관심 영역 내에서만 차선 인식이 이루어져, 그 연산량을 줄일 수 있다.
특히, 본 발명에 있어서 상기 관심 영역 설정부(140)는, 차선 검출부(120)에 의해 차선에 대응하는 1차 함수 관계식이 도출된 경우, 이러한 1차 함수 관계식을 이용하여 도로 주행 영상에 대한 관심 영역을 설정할 수 있다.
그러면, 상기 차선 인식 장치의 다른 구성요소, 이를테면 차선 외곽선 추출부(110), 차선 검출부(120) 및 차선 위치 분석부(130)는 이와 같이 설정된 관심 영역에 기초하여, 각 동작을 수행할 수 있다.
도 6은, 본 발명의 일 실시예에 따라 도로 주행 영상에 대하여 관심 영역이 설정된 구성을 개략적으로 나타내는 도면이다.
도 6을 참조하면, 상기 관심 영역 설정부(140)는, 도로 주행 영상에 대하여 점선 C로 표시된 바와 같은 영역을 관심 영역으로 설정할 수 있다. 그러면, 상기 차선 외곽선 추출부(110)는, 도로 주행 영상에서 C로 표시된 관심 영역 내에 포함된 차선에 대해서만 외곽선을 추출할 수 있다.
본 발명의 이러한 구성에 의하면, 도로 주행 영상 중 관심 영역 내에서만 차선 외곽선 추출 동작이 수행되도록 함으로써, 차선 외곽선 추출에 대한 동작 속도 및 정확성을 향상시키는 한편, 차선 인식 장치에 걸리는 부하를 감소시킬 수 있다.
특히, 상기 관심 영역 설정부(140)에 의해 설정되는 관심 영역은, 상한선 및 하한선을 구비할 수 있으며, 원근감을 고려하여 사다리꼴 형태로 구성될 수 있다.
바람직하게는, 차선 검출부(120)에 의해 2개의 1차 함수 관계식이 도출된 경우, 상기 관심 영역 설정부(140)는, 이러한 2개의 1차 함수 관계식의 교점을 소실점으로서 산출하고, 산출된 소실점을 이용하여 관심 영역을 설정할 수 있다.
예를 들어, 도 6의 실시예에 도시된 바와 같이, 도로 주행 영상에는 차량을 기준으로 좌측 차선과 우측 차선이 존재할 수 있으며, 이러한 좌측 차선과 우측 차선은 소실점으로 수렴될 수 있다. 따라서, 좌측 차선에 대응하는 직선 A1의 관계식과 우측 차선에 대응하는 직선 A2의 관계식은 기울기가 서로 다르며, 교점 v(xv, yv)에서 교차할 수 있다. 이때, 교점 v는 도로 주행 영상의 소실점이라 할 수 있다. 따라서, 상기 관심 영역 설정부(140)는, 이처럼 좌측 차선과 우측 차선에 대응하는 2개의 직선에 대한 1차 함수 관계식의 교점을 소실점으로 간주하고, 이러한 소실점을 이용하여 관심 영역을 설정할 수 있다.
특히, 상기 관심 영역 설정부(140)는, 소실점 v의 y 좌표값을 관심 영역의 y 좌표 상한값으로 설정할 수 있다. 즉, 도 6의 실시예에서, 소실점 v의 y 좌표값은 yv이므로, 이러한 yv를 관심 영역의 y 좌표 상한값으로 설정할 수 있다. 여기서, 관심 영역의 y 좌표 상한값은 도로 주행 영상에서, 관심 영역의 상한선에 대한 y 좌표값이라 할 수 있다. 따라서, 관심 영역의 상한선은, y=yv 직선의 일부라고 할 수도 있다.
한편, 상기 관심 영역 설정부(140)는, 소실점으로부터 좌측과 우측 수평 방향으로 소정 화소(거리), 즉 도 6에서 v1으로 표시된 만큼 이격된 점 tmin과 점 tmax를 각각 관심 영역의 상한선에 대한 좌측 한계점 및 우측 한계점으로 설정할 수 있다. 이러한 관심 영역의 상한선에 대한 좌측 한계점 및 우측 한계점은, 다음 영상에서 소실점의 변경 가능성을 고려한 여유 부분이라 할 수 있다.
또한, 상기 관심 영역 설정부(140)는, 차량의 본넷을 파악하고 파악된 본넷에 대한 y 좌표값을 탐색하여 탐색된 본넷의 y 좌표값을 관심 영역의 y좌표 하한값으로 설정할 수 있다. 즉, 도 6의 실시예에서 B로 표시된 바와 같이, 블랙박스와 같은 영상 촬영 장치에 의해 촬영된 도로 주행 영상에는 본넷이 포함될 수 있는데, 상기 관심 영역 설정부(140)는 이러한 본넷의 가장 상부에 위치하는 부분의 y좌표값 yb를 관심 영역의 y 좌표 하한값으로 설정할 수 있다. 이 경우, 관심 영역의 하한선은, y=yb 직선의 일부라고 할 수도 있다.
여기서, 상기 관심 영역 설정부(140)는, 수평 에지 추출 알고리즘을 이용하여 본넷의 y축 방향 위치(yb)를 검출할 수 있다. 특히, 상기 관심 영역 설정부(140)는, 본넷 탐색의 속도를 향상시키기 위해, 소실점으로부터 하부 방향으로 소정 화소 이격된 지점에서부터 하부 방향으로 본넷을 탐색하는 동작을 수행할 수 있다.
다만, 카메라 센서의 수직 방향 설치 각도에 따라, 또는 트럭 등의 경우, 영상에 본넷이 포함되지 않을 수 있으며, 이 경우, 관심 영역 설정부(140)는 본넷을 탐색하지 못할 수 있다. 이처럼 본넷이 탐색되지 않으면, 관심 영역 설정부(140)는 카메라의 수직 화각을 고려하여 소실점으로부터 소정 거리 아래에 위치하는 부분, 또는 영상의 하단에서부터 소정 거리 위쪽에 위치하는 부분을 관심 영역의 하한선으로 설정하는 등, 다양한 방식으로 관심 영역의 하한선을 결정할 수 있다.
한편, 상기 관심 영역 설정부(140)는, 도 6에 도시된 바와 같이, 관심 영역의 좌측 한계선이 차로의 좌측에 위치하도록 관심 영역의 하한선의 좌측 한계점 dmin을 설정하고, 관심 영역의 우측 한계선이 차로의 우측에 위치하도록 관심 영역의 하한선의 우측 한계점 dmax를 설정할 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 관심 영역의 하한선과 좌측 차선에 대응하는 직선의 교점을 d1이라 하고, 관심 영역의 하한선과 우측 차선에 대응하는 직선의 교점을 d2라 할 경우, 관심 영역 설정부(140)는 차선 위치 분석부(130)로부터 이러한 d1과 d2에 대한 좌표 정보를 전송받을 수 있다. 그러면, 상기 관심 영역 설정부(140)는, d1으로부터 좌측 방향으로 소정 화소 이격된 지점 dmin을 관심 영역 하한선의 좌측 한계점으로 설정하고, d2로부터 우측 방향으로 소정 화소 이격된 지점 dmax를 관심 영역 하한선의 우측 한계점으로 설정할 수 있다.
한편, 시스템의 구동 초기 등에는 소실점 및 차선에 대한 정보가 없을 수 있다. 또한, 소실점 및 차선에 대한 정보가 있다 하더라도 잘못된 정보 내지 오류가 포함된 정보인 경우도 있을 수 있다. 이와 같은 경우 상기 관심 영역 설정부(140)는, 도로 주행 영상 중 임의의 부분에 소실점이 있다고 가정하고 관심 영역을 설정할 수 있다. 특히, 상기 관심 영역 설정부(140)는, 영상 중앙에 소실점이 있다고 가정할 수 있다. 이 경우, 상기 관심 영역 설정부(140)는, 이와 같이 가정한 소실점의 하부 방향으로 일정 화소만큼 떨어진 곳에서부터 수평 에지 검출 알고리즘을 사용하여 본넷 위치를 탐색할 수 있다. 그리고, 관심 영역 설정부(140)는, 이와 같이 가정 및 탐색된 소실점 및 본넷 위치를 이용하여, 상기 설명된 바와 유사하게 관심 영역을 설정할 수 있다.
바람직하게는, 상기 관심 영역 설정부(140)는, 기설정된 관심 영역을 보정할 수 있다. 즉, 관심 영역 설정부(140)는, 이전 도로 주행 영상에 의해 획득된 정보를 기초로 설정되거나 임의로 설정된 관심 영역을 보정할 수 있다. 이때, 상기 관심 영역 설정부(140)는, 관심 영역을 보정하기 위해 소실점의 위치 및 차로의 너비 정보를 이용할 수 있는데, 이에 대해서는 후술하도록 한다.
이와 같이, 관심 영역 설정부(140)에 의해 보정을 포함한 관심 영역 설정이 수행되면, 차선 인식 장치의 각 구성요소들은 이러한 관심 영역에 기초하여 각 동작을 수행할 수 있다.
예를 들어, 상기 차선 인식 장치는, 관심 영역 이내의 영상에 대해서만, 차선 외곽선을 추출하고, 추출된 차선 외곽선에 대응하는 x, y 사이의 1차 함수 관계식을 도출하며, 차선의 위치를 분석할 수 있다.
특히, 상기 차선 검출부(120)는, 소실점을 기준으로 수렴하는 1차 함수의 기울기를 변경하면서 차선을 검출할 수 있다. 예를 들어, 도 5의 실시예와 같이, 이전 영상에서 소실점이 v(xv, yv)로서 결정된 경우, 상기 차선 검출부(120)는, 다음의 도로 주행 영상에 대하여, 직선의 일단을 점 v에 고정시킨 상태에서, 직선의 타단을 관심 영역의 하한선 상을 따라 이동시키면서 좌측 차선과 우측 차선에 대응하는 각각의 직선을 검출할 수 있다. 즉, 상기 차선 검출부(120)는, 직선의 타단인 점 d(xd, yb)를 dmin에서 dmax로 이동해 가면서 차선에 가장 부합하는 직선을 검출하고, 검출된 직선의 1차 함수 관계식을 도출할 수 있다.
이때, 차선에 부합하는 직선의 1차 함수 관계식은, 상기 수학식 1과 같은 형태로 도출될 수 있다.
즉, 상기 차선 검출부(120)는, 차선 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식으로서,
Figure 112014020432875-pat00006
를 도출할 수 있다.
여기서, x 및 y는 변수이고, a는 상수로서 y값의 증가량에 대한 x값의 증가량의 비율, yb는 관심 영역의 y좌표 하한값, xd는 관심 영역의 하한에서 1차 함수 관계식의 x좌표값을 나타낸다고 할 수 있다. 특히, xd 및 yb는 관심 영역의 하한선과 차선에 대응하는 직선이 만나는 교점의 x좌표 및 y좌표라 할 수도 있다.
한편, 상기 수학식 1과 같은 차선에 대응하는 1차 함수 관계식에서 a는 상기 수학식 2에 기재된 바와 같다. 따라서, 상기 차선 검출부(120)는, 차선에 대응하는 1차 함수 관계식을, 상기 수학식 3과 같은 형태로 표현할 수도 있다.
더욱 바람직하게는, 상기 차선 검출부(120)는 차선에 대응하는 1차 함수 관계식을 도출하기 위해, 1차 함수 관계식에 해당하는 직선의 일단을 관심 영역의 상한선 내에서 좌우 방향으로 이동시키고, 직선의 타단을 관심 영역의 하한선 내에서 좌우 방향으로 이동시키면서, 차선에 가장 부합하는 직선을 추출하도록 구성될 수 있다. 이에 대해서는, 도 7을 참조하여 보다 상세하게 설명하도록 한다.
도 7은, 본 발명의 일 실시예에 따라 도로 주행 영상의 관심 영역 내에서 차선에 대응하는 1차 함수 관계식을 도출하는 과정을 도식화하여 나타내는 도면이다.
도 7을 참조하면, 도로 주행 영상에 대하여 관심 영역(C)이 설정되어 있으며, 이러한 관심 영역 내에 포함된 차선에 대해서만 외곽선이 표시되어 있다. 이러한 관심 영역은 관심 영역 설정부(140)에 의해 설정될 수 있는데, 관심 영역 설정부(140)는 이전 주행 영상에서 도출된 소실점 v(xv, yv) 및 차선을 기초로 관심 영역을 설정할 수 있다.
도 7의 실시예에서, 관심 영역의 상한선의 y 좌표는 yv이고, 상한선의 좌측 한계점은 tmin(xt - min, yv), 상한선의 우측 한계점은 tmax(xt - max, yv)로 표시된다. 그리고, 관심 영역의 하한선의 y 좌표는 yb이고, 하한선의 좌측 한계점은 dmin(xd - min, yb), 하한선의 우측 한계점은 dmax(xd - max, yb)로 표시된다.
이러한 상황에서, 상기 차선 검출부(120)는, 관심 영역의 상한선 상에 위치하는 t점 및 관심 영역의 하한선 상에 위치하는 d점을 각각 수평 방향으로 이동시키면서, t점과 d점 사이를 연결하는 직선이 차선의 외곽선에 가장 많은 화소수로 중첩될 때 해당 직선의 관계식을 차선에 대응하는 1차 함수 관계식으로서 도출할 수 있다. 즉, 상기 차선 검출부(120)는, t점을 tmin과 tmax 사이에서 이동시키고, d점을 dmin과 dmax 사이에서 이동시키면서, 차선에 대응하는 직선 A3의 1차 함수 관계식을 도출할 수 있다.
여기서, 상기 차선 검출부(120)는, 도 7의 실시예를 기준으로, 차선에 대응하는 1차 함수 관계식을 다음과 같은 수학식으로 도출할 수 있다.
Figure 112014020432875-pat00007
여기서, x 및 y는 변수이고, xt 및 yv는 상기 t점의 x 좌표값 및 y 좌표값을 나타내며, xd 및 yb는 상기 d점의 x 좌표값 및 y 좌표값을 나타낸다.
한편, 상기 살펴본 바와 같이, 상기 차선 검출부(120)는, 차선에 대응하는 1차 함수 관계식을 도출할 때, 차선의 외곽선에 중첩되는 화소수를 기준으로 할 수 있다. 즉, 상기 차선 검출부(120)는 차선의 외곽선에 중첩되는 화소수가 가장 많은 직선을 차선에 대응되는 직선으로 간주하고, 그러한 직선에 대한 관계식을 차선에 대응되는 1차 함수 관계식으로서 도출할 수 있다.
여기서, 상기 차선 검출부(120)는, 차선의 외곽선에 중첩되는 화소수에 대한 차선 검출 임계값을 설정할 수 있다. 따라서, 차선 검출부(120)는, 차선의 외곽선에 중첩되는 화소수가 가장 많은 직선이라 하더라도, 해당 직선의 중첩 화소수가 차선 검출 임계값을 넘지 못하면, 차선에 대응되는 직선으로 판단하지 않고, 차선을 검출하지 못한 것으로 간주할 수 있다. 또한, 상기 차선 검출부(120)는, 차선 검출 임계값을 넘는 차선 관계식이 많이 검출될 경우, 잡음이 검출된 것으로 간주하여, 새롭게 차선을 검출할 수 있다.
이때, 상기 차선 검출부(120)는, 차선 검출 임계값을 관심 영역의 높이에 비례하여 설정할 수 있다. 이를테면, 상기 도 7의 실시예에서, 상기 관심 영역의 높이는 yb-yv라 할 수 있는데, 차선 검출부(120)는 이러한 관심 영역의 높이에 비례하여 차선 검출의 임계값을 설정할 수 있다. 예를 들어, 차선 검출부(120)는, 관심 영역의 높이가 낮은 경우보다 높은 경우에 차선 검출 임계값이 상대적으로 높아지도록 할 수 있다.
한편, 상기 차선 검출부(120)는, 상기 수학식 4와 같은 1차 함수 관계식을 2개 도출할 수 있다. 즉, 도 7에 도시된 바와 같이, 도로 주행 영상의 관심 영역 내에서 차선은 일반적으로 차량을 기준으로 좌측 차선 및 우측 차선 2개가 존재하므로, 차선 검출부(120)는 t점과 d점을 이동시키면서, 좌측 차선에 대응하는 1차 함수 관계식 및 우측 차선에 대응하는 1차 함수 관계식을 각각 도출할 수 있다. 이 경우, 상기 차선 검출부(120)는, 관심 영역에 대하여 x=xv인 선을 기준으로 좌측 관심 영역과 우측 관심 영역으로 구분한 후, 좌측 관심 영역에서 좌측 차선에 대응하는 1개의 1차 함수 관계식을 찾고, 우측 관심 영역에서 우측 차선에 대응하는 1개의 1차 함수 관계식을 찾을 수 있다.
상기 차선 위치 분석부(130)는, 관심 영역 설정부(140)에 의해 설정된 관심 영역을 이용하여 차선의 위치를 분석할 수 있다. 특히, 상기 차선 위치 분석부(130)는 상기 차선 검출부(120)에 의해 검출된 차선 관계식과 관심 영역 설정부(140)에 의해 설정된 관심 영역의 하한선이 교차하는 점을 차선의 위치로 분석할 수 있다. 예를 들어, 상기 차선 위치 분석부(130)는, 도 7의 실시예에서, 차선에 대응하는 직선과 관심 영역의 하한선이 만나는 d점을 차선의 위치로서 간주할 수 있다.
한편, 앞서 설명한 바와 같이, 관심 영역 설정부(140)는 이미 설정된 관심 영역을 보정할 수 있다. 따라서, 상기와 같이 2개의 1차 함수 관계식이 도출되면, 상기 관심 영역 설정부(140)는, 도출된 2개의 함수 사이의 교점을 소실점으로 간주하고, 이러한 소실점을 기초로 관심 영역을 보정할 수 있다. 이에 대해서는, 도 8을 참조하여 보다 상세하게 설명하도록 한다.
도 8은, 본 발명의 일 실시예에 따른 관심 영역의 보정 구성을 도식화하여 나타내는 도면이다.
도 8을 참조하면, 점선 C1으로 표시된 영역은 이전에 결정된 소실점 v1을 기초로 기설정된 관심 영역을 나타낸다. 상기 차선 인식 장치는, 이러한 관심 영역 C1을 기초로, 각 동작을 수행할 수 있다. 이때, 차선 인식 장치는 차선 외곽선을 추출하고 그에 대응하는 직선을 도면에 표시된 바와 같이 A3 및 A4로 인식할 수 있다.
그러면, 상기 관심 영역 설정부(140)는, 2개의 직선 A3 및 A4의 교점 v2를 새로운 소실점으로 간주하고, 이러한 소실점 v2를 기초로 새로운 관심 영역을 설정하여, 기존의 관심 영역을 보정할 수 있다. 즉, 도 8에서 실선 C2로 표시된 바와 같이, 상기 관심 영역 설정부(140)는 기설정된 관심 영역 C1과는 다른 새로운 관심 영역 C2를 설정할 수 있다. 그리고, 이와 같이 관심 영역 설정부(140)에 의해 새로 설정된 관심 영역 C2는, 다음에 입력되는 도로 주행 영상에 대한 차선 인식을 위한 관심 영역으로 이용될 수 있다.
또한, 상기 관심 영역 설정부(140)는 차로의 너비 정보를 이용하여 관심 영역을 보정할 수 있다.
예를 들어, 도 8의 실시예에서, 차선 검출부(120)에 의해 직선 A3 및 A4가 검출된 경우, 관심 영역 C1의 하한선에서 A3와 A4 사이의 거리를 차로의 너비로서 R로 나타낼 수 있다. 이때, 차로의 너비 R이 이전에 관심 영역 C1을 결정할 때의 차로의 너비와 다른 경우, 상기 관심 영역 설정부(140)는 관심 영역의 하한선의 폭을 조절할 수 있다. 이를테면, 새롭게 인식된 차로의 너비 R이 이전 차로의 너비보다 넓어진 경우, 상기 관심 영역 설정부(140)는, 관심 영역 C2의 하한선의 폭 W2가 관심 영역 C1의 하한선의 폭 W1보다 넓어지도록 관심 영역 C2를 설정할 수 있다.
또한, 상기 관심 영역 설정부(140)는, 차선 위치 분석부(130)에 의해 분석된 차선의 위치를 고려하여 관심 영역을 보정할 수 있다. 예를 들어, 도 8의 실시예에서, 상기 관심 영역 설정부(140)는, 직선 A3가 관심 영역의 하한선과 만나는 점 d3를 기초로, 하한선의 좌측 한계점 dmin의 위치를 결정할 수 있다. 이를테면, 관심 영역 설정부(140)는, d3가 이전 영상보다 좌측으로 이동한 경우, dmin 역시 좌측 방향으로 이동시켜 새로운 관심 영역 C2를 설정할 수 있다. 이때, 상기 관심 영역 설정부(140)는, d3의 이동 거리를 고려하여 dmin의 이동 거리를 결정할 수 있다. 또한, 상기 관심 영역 설정부(140)는, 직선 A4가 관심 영역의 하한선과 만나는 점 d4를 기초로, 하한선의 우측 한계점 dmax의 위치를 결정할 수 있다.
상기 실시예와 같이, 관심 영역 설정부(140)에 의해 관심 영역이 보정되도록 하는 구성에 의하면, 착탈식 영상 촬영 장치와 같이 카메라 화각이나 설치 위치 등이 변경되는 경우, 차로의 너비가 변화되는 경우, 차로의 곡률 및 차량의 회전에 따라 소실점이 변경되는 경우 등에 있어서, 관심 영역이 유연성 있게 보정될 수 있다. 따라서, 본 발명의 이러한 측면에 의하면, 다양한 환경 상황에서 각각에 적합한 최적의 관심 영역이 유지되어, 차선 인식을 위한 연산량이 감소되어 속도 및 정확성 등이 향상될 수 있다.
바람직하게는, 본 발명에 따른 차선 인식 장치는, 도 2에 도시된 바와 같이, 차선 추출부(150)를 더 포함할 수 있다.
상기 차선 추출부(150)는, 도 2와 같이 영상 촬영 장치에 의해 차량의 도로 주행 영상이 촬영되면, 촬영된 차량의 도로 주행 영상을 영상 촬영 장치로부터 입력받는다. 그리고, 상기 차선 추출부(150)는, 입력된 영상에서 차선 이외의 영상을 적어도 일부 제거함으로써 차선을 추출한다.
따라서, 상기 차선 추출부(150)는, 도로 주행 영상에서 차선이 추출된 차선 추출 영상을 생성할 수 있다. 다만, 이러한 차선 추출 영상에는 차선 이외에 다른 노면 표시나 차량의 불빛 등과 같은 다른 표시가 포함될 수도 있다.
이처럼, 차선 추출부(150)에 의해 차선 추출 영상이 생성되면, 차선 인식 장치의 다른 구성요소들은 이러한 차선 추출 영상을 기초로 각 기능을 수행할 수 있다. 예를 들어, 차선 외곽선 추출부(110)는 차선 추출 영상에서 추출된 차선에 대하여 외곽선을 추출할 수 있고, 차선 검출부(120)는 추출된 차선에 대응하는 1차 함수 관계식을 도출할 수 있다.
바람직하게는, 상기 차선 추출부(150)는, 차량의 도로 주행 영상을 그레이 레벨 영상으로서 입력받을 수 있다. 그리고, 상기 차선 추출부(150)는, 차선 추출 영상을 이진화 영상으로서 생성할 수 있다. 예를 들어, 상기 차선 추출부(150)는, 영상 촬영 장치로부터 입력된 그레이 영상에서, 차선 이외의 영상을 제거하여 이진화 영상을 만들고 이러한 이진화 영상을 차선 외곽선 추출부(110)로 제공할 수 있다. 그러면, 차선 외곽선 추출부(110)는, 이러한 이진화 영상에서 차선의 외곽선을 추출할 수 있다.
도 9는, 본 발명의 일 실시예에 따른 차선 추출부(150)의 기능적 구성을 개략적으로 나타내는 블록도이다.
도 9를 참조하면, 상기 차선 추출부(150)는 차로 밝기 산출 파트(151), 밝기 기반 필터링 파트(152) 및 너비 기반 필터링 파트(153)를 포함할 수 있다.
상기 차로 밝기 산출 파트(151)는, 영상 촬영 장치로부터 도로 주행 영상을 입력받아, 밝기 임계값을 산출할 수 있다. 특히, 상기 차로 밝기 산출 파트(151)는, 영상 촬영 장치로부터 그레이 영상을 입력받아, 아스팔트와 같은 차로 바닥에 해당하는 영역의 평균 밝기를 산출하여, 그 밝기를 기준으로 밝기 임계값을 산출할 수 있다. 이때, 차로 바닥에 해당하는지 여부는, 차선 인식 장치의 다른 구성요소로부터 입력된 정보나 도로 주행 영상의 소정 영역을 기준으로 판단할 수 있다.
도 10은, 본 발명의 일 실시예에 따른 차로 밝기 산출 파트(151)에 의해 밝기 임계값을 산출하는 구성을 도식화한 도면이다.
도 10을 참조하면, 상기 차로 밝기 산출 파트(151)는, 그레이 영상에서 R로 표시된 바와 같은 차로에 해당하는 부분을 다수의 영역으로 지정할 수 있다. 즉, 상기 차로 밝기 산출 파트(151)는, 도로에서 L로 표시된 바와 같은 차선을 제외한 차로에 해당하는 부분을 다수의 블록 영역으로 분할할 수 있다. 그리고, 상기 차로 밝기 산출 파트(151)는, 각 영역에서 화소 밝기의 평균값을 계산하고, 그와 같이 계산된 화소 밝기의 평균값을 기준으로 차선 및 노면 표시에 해당하는 화소의 밝기 임계값을 산출할 수 있다. 예를 들어, 상기 차로 밝기 산출 파트(151)는, 각 블록에서 아스팔트에 해당하는 화소 밝기의 평균값에서 소정 수준 이상의 밝기를 밝기 임계값으로 산출할 수 있다. 본 발명의 이러한 구성에 의하면, 차로의 그림자 및 기타 잡음에 강인한 특성을 가질 수 있다. 한편, 상기 차로 밝기 산출 파트(151)는, 이전 단계에서 차선 검출부(120)나 차선 위치 분석부(130)에 의해 인식된 차선 정보를 입력받아, 차로에 해당하는 부분을 블록으로 지정할 수 있다.
상기 밝기 기반 필터링 파트(152)는, 화소의 밝기를 기준으로 차로 이외의 노이즈를 제거할 수 있다. 특히, 상기 밝기 기반 필터링 파트(152)는, 차로 밝기 산출 파트(151)에 의해 산출된 밝기 임계값을 이용하여 차선 이외의 표시를 제거할 수 있다. 예를 들어, 상기 밝기 기반 필터링 파트(152)는 영상 촬영 장치로부터 입력된 그레이 영상에서, 밝기 임계값 이상의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성할 수 있다.
여기서, 밝기 기반 필터링 파트(152)는, 차로 밝기 산출 파트(151)에 의해 산출된 밝기 임계값 이상의 밝기를 갖는 화소를 추출하되, 밝기 임계값에 비해 지나치게 높은 밝기를 갖는 화소에 대해서는 이진화 영상에서 제거되도록 할 수 있다. 이때, 밝기 임계값은, 도로에서 차선을 나타내는 것으로 볼 수 있는 밝기의 최대값이라 할 수 있다. 따라서, 이와 같은 차선 밝기의 최대값보다 지나치게 높은 밝기를 갖는 화소의 경우, 차량의 전조등이나 후미등, 또는 주변 건물 등과 같은 광원을 나타내는 화소일 가능성이 크다. 그러므로, 상기 밝기 기반 필터링 파트(152)는, 이러한 광원과 차선을 구분하기 위해, 밝기 임계값보다 지나치게 높은 밝기를 갖는 화소는 차선에 관한 화소가 아닌 것으로 보고 이진화 영상에서 제거되도록 할 수 있다.
예를 들어, 상기 밝기 기반 필터링 파트(152)는, 밝기 임계값보다 소정 수준 이상 높은 밝기에 대해 광원 임계값으로 지정하고, 이러한 광원 임계값 이상의 화소에 대해서는 이진화 영상에서 표시되는 화소에서 제외할 수 있다. 이 경우, 상기 밝기 기반 필터링 파트(152)는, 밝기 임계값과 광원 임계값 사이의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성할 수 있다.
바람직하게는, 상기 차로 밝기 산출 파트(151)는, 차선 인식 장치의 다른 구성요소로부터 피드백된 정보를 바탕으로 밝기 임계값을 조절할 수 있다.
예를 들어, 상기 차로 밝기 산출 파트(151)는, 차선 검출부(120)로부터 차선이 검출되지 않았다는 정보를 입력받은 경우, 밝기 임계값을 이전 단계보다 낮게 설정할 수 있다. 또는, 상기 차로 밝기 산출 파트(151)는, 차선 검출부(120)로부터 노이즈가 소정 수준 이상으로 인식되었다는 정보를 입력받은 경우, 밝기 임계값을 이전 단계보다 높게 설정할 수 있다.
상기 너비 기반 필터링 파트(153)는, 밝기 기반 필터링 파트(152)에 의해 추출된 화소에 대해, 너비를 기준으로 차선 이외의 노이즈를 제거할 수 있다. 상기 살펴본 바와 같이, 밝기 기반 필터링 파트(152)에 의해서는 밝기를 기준으로 추출된 화소에 대해 이진화 영상이 생성되기 때문에, 이와 같이 생성된 이진화 영상에는, 차선뿐 아니라 차선 이외의 각종 노면 표시에 관련된 화소가 포함될 수 있다. 상기 너비 기반 필터링 파트(153)는, 이진화 영상에서, 차선 이외의 각종 노면 표시 등을 노이즈로서 제거할 수 있다.
예를 들어, 도로에는 차선 이외에, 좌회전이나 우회전, 유턴, 속도 제한, 각종 안내 문자 등이 노면 표시로서 포함될 수 있다. 이러한 차선 이외의 노면 표시는, 차선과 유사한 밝기를 가질 수 있기 때문에, 밝기 기반 필터링 파트(152)에 의해서는 이러한 차선 이외의 노면 표시가 제거되지 않을 수 있다. 따라서, 상기 너비 기반 필터링 파트(153)는, 이진화 영상에 포함된 화소 중 노면 표시의 너비를 기준으로 차선과 차선 이외의 다른 노면 표시를 구분할 수 있다.
특히, 상기 너비 기반 필터링 파트(153)는, 밝기 기반 필터링 파트(152)에 의해 특정 화소만이 추출된 이진화 영상에 대하여, 이진화 영상에 포함된 표시 중, 너비가 소정 너비 초과이거나 소정 너비 미만인 표시에 대하여 그 화소를 제거할 수 있다. 즉, 상기 너비 기반 필터링 파트(153)는, 밝기 기반 필터링 파트(152)에 의해 추출된 화소 중 너비를 참조 너비 범위와 비교하여, 참조 범위 너비를 벗어난 너비를 갖는 화소를 이진화 영상에서 표시되지 않고 제거되도록 할 수 있다.
예를 들어, 참조 너비 범위가 20~30으로 설정되어 있는 경우, 상기 너비 기반 필터링 파트(153)는, 20 미만의 너비를 갖거나 30 초과의 너비를 갖는 노면 표시에 대해 차선이 아닌 노이즈로서 판단하고, 이러한 노면 표시에 대한 화소를 이진화 영상에서 제거할 수 있다.
바람직하게는, 상기 너비 기반 필터링 파트(153)는, 차로 너비에 대한 차선 너비의 비율을 기준으로, 차선과 차선 이외의 노면 표시를 구분할 수 있다. 즉, 상기 너비 기반 필터링 파트(153)는, 차로 너비에 대한 차선 너비의 비율을 산출하고, 산출된 비율을 참조 비율 범위와 비교하여, 이러한 참조 비율 범위를 벗어난 비율을 갖는 표시에 대해 그에 해당하는 화소를 이진화 영상에서 제거할 수 있다. 여기서, 참조 비율 범위는, 예를 들어 '경찰청 교통노면표시 설치관리매뉴얼'에 명시된 규격을 기초로 설정될 수 있다.
한편, 관심 영역 설정부(140)는, 차선 추출부(150)에 관심 영역 정보를 제공하며, 차선 추출부(150)는 관심 영역 내에서 차선을 추출하여 차선 후보 추출의 속도가 향상될 수 있다. 또한, 차선 추출부(150)는, 차선 검출부(120) 등으로부터 차선 검출 여부 정보와 잡음 검출 여부 정보를 제공받아 차선 후보 추출의 정확도가 향상될 수 있다.
한편, 본 발명의 일 실시예에 따른 차선 인식 장치는, 차선의 종류를 구분하여 인식할 수 있다. 일반적인 도로의 노면 표시에 있어서, 차선은, 중앙선, 일반 차선, 길가장자리구역선, 진로변경제한선, 유턴구역선, 전용차선, 유도선 등으로 구분될 수 있다. 또한, 차선은 점선과 실선, 복선 등으로 구분될 수 있다. 이러한 각각의 차선은 도색 길이나, 빈 길이, 너비, 색상 등이 다를 수 있다. 따라서, 이를테면 차선 인식 장치의 차선 검출부(120)는, 이와 같은 정보를 미리 저장하여, 검출된 차선의 종류를 구분할 수 있다.
특히, 상기 차선 검출부(120)는, 중앙선과 일반 차선을 구분하여 인식할 수 있다. 예를 들어, 중앙선의 실선은 너비가 15~20cm이고, 일반 차선의 너비는 10~15cm일 수 있는데, 상기 차선 검출부(120)는, 차선 외곽선의 좌우 너비를 고려하여, 검출된 차선이 중앙선인지 일반 차선인지 구분할 수 있다.
본 발명의 이러한 구성에 의하면, 차선의 종류를 구분하여 해당 정보를 차선 이탈 판단 및 경보 장치 등에 제공함으로써, 대형 사고의 위험성을 크게 낮출 수 있다. 예를 들어, 차량이 중앙선을 침범하여 발생한 교통 사고는, 일반 차선을 침범하여 발생한 교통 사고보다, 큰 피해를 발생시킬 수 있기 때문에, 상기 실시예와 같이, 인식된 차선이 중앙선인지 일반 차선인지를 구분할 수 있는 경우, 중앙선 이탈 시 더욱 위급한 경고 정보가 발생되도록 할 수 있다.
또한, 본 발명에 다른 차선 인식 장치는, 실선과 점선을 구분하여 인식할 수 있다. 예를 들어, 상기 차선 검출부(120)는, 차선에 대응되는 직선과 차선 외곽선이 중첩되는 화소수를 기준으로, 차선이 실선인지 점선인지 구분할 수 있다.
일반적으로 점선은 앞지르기하는 경우와 같이 상황에 따라 차선 이탈을 허용하나, 실선은 차선 이탈을 불허하는 경우가 많다. 그러므로, 상기와 같이, 차선 검출부(120)에 의해 인식된 차선이 점선인지 실선인지 구분되는 경우, 실선에 대해서는 이탈 시 더욱 심각한 경고 정보가 발생되도록 할 수 있다.
일 실시예로서, 본 발명에 따른 차선 인식 장치의 구현예를 설명한다.
예를 들어, 차량이 운행을 시작하여 차선 인식 장치 역시 동작을 시작하는 경우, 관심 영역이 이전에 설정되지 않은 상태에서 최초로 설정될 수 있다.
초기에는 소실점 및 차선에 대한 정보가 없을 수 있으므로, 이 경우 차선 인식 장치는 영상 전체에 대한 차선 검출을 수행하여 차선 및 소실점이 검출되도록 할 수 있다. 또는, 차선 인식 장치는, 이처럼 차선 및 소실점에 대한 정보가 없거나 정보에 오류가 있다고 판단될 경우, 영상 중앙에 소실점이 있다고 가정할 수 있다.
그리고, 차선 인식 장치는 이와 같이 가정 또는 검출된 소실점 아래로 일정 화소만큼 떨어진 곳에서부터 수평 에지 검출 알고리즘을 사용하여 본넷 위치를 검색할 수 있다. 만일 본넷이 검출되지 않은 경우, 차선 인식 장치는 영상에 본넷이 촬영되지 않았다고 간주할 수 있다.
그리고, 차선 인식 장치는, 가정 또는 검출된 소실점에 기초하여, 차선 검출을 수행할 수 있다. 이때, 차선이 검출되지 않을 경우, 차선 인식 장치는 주변 화소에 대하여 소실점 가정과 차선 검출 과정을 반복하여 수행할 수 있다.
만일, 영상 전체에 대해 차선을 검출하여도 양쪽 차선이 모두 검출되지 않은 경우, 차선 인식 장치는 차량이 주행 차선 위에 있지 않은 것으로 간주하고 일정 시간 동안 대기할 수 있다. 반면, 양쪽 차선이 모두 검출된 경우, 차선 인식 장치는, 좌측 차선에 대한 1차 함수 관계식과 우측 차선에 대한 1차 함수 관계식의 교점을 소실점으로서 산출할 수 있다. 다음으로, 차선 인식 장치는 산출한 소실점과 검출한 차선, 본넷의 위치를 이용하여 관심 영역을 설정하고, 설정한 관심 영역을 현재 영상 및/또는 다음 영상에 적용할 수 있다.
그리고 나서, 차선 인식 장치는, 관심 영역 이내의 영상에 대해 차선 후보를 추출하고, 관심 영역 이내의 영상에 대해 차선 후보에 대응되는 1차 함수 관계식을 도출하여 차선의 위치를 분석할 수 있다. 이때, 분석된 차선의 위치 정보는 관심 영역을 보정하는데 이용될 수 있으며, 보정된 관심 영역은 현재 영상 프레임 및/또는 다음 영상 프레임에 적용될 수 있다.
한편, 본 발명에 따른 차선 인식 장치는, 다양한 장치 형태로 구현될 수 있다. 예를 들어, 상기 차선 인식 장치는, 차량에 구비된 블랙박스나 네비게이션 기기에서 구현되도록 구성될 수 있다. 이 경우, 본 발명에 따른 블랙박스 또는 네비게이션 장치는, 상술한 본 발명에 따른 차선 인식 장치를 포함할 수 있다.
도 11은, 본 발명의 일 실시예에 따른 차선 인식 방법을 개략적으로 나타내는 흐름도이다. 도 11에서, 각 단계의 수행 주체는, 상술한 차선 인식 장치의 각 구성요소라 할 수 있다.
도 11에 도시된 바와 같이, 본 발명에 따른 차선 인식 방법에 의하면, 먼저 영상 촬영 장치로부터 촬영된 차량의 도로 주행 영상에 대하여 차선의 외곽선이 추출되고(S110), 도로 주행 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 추출된 차선의 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식이 도출된다(S120). 그리고 나서, 이와 같이 도출된 1차 함수 관계식을 이용하여 차선의 위치가 분석된다(S130).
바람직하게는, 상기 S110 단계 또는 S120 단계 이전에, 관심 영역이 보정을 포함하여 설정되는 단계가 더 포함될 수 있다. 이 경우, 상기 S110 단계 및 S120 단계는 설정된 관심 영역을 기초로 수행될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
한편, 본 명세서에서 '차선 외곽선 추출부', '차선 검출부', '차선 위치 분석부', '관심 영역 설정부' 등에서 '부'라는 용어가 사용되었고, '차로 밝기 산출 파트', '밝기 기반 필터링 파트', '너비 기반 필터링 파트' 등에서 '파트'라는 용어가 사용되었으나, 이는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 분리될 수 있거나 물리적으로 분리되어야 하는 구성요소를 나타내는 것이 아니라는 점은 본 발명이 속하는 기술 분야의 당업자에게 자명하다.
즉, 본 발명에 있어서의 각각의 구성은 본 발명의 기술사상을 실현하기 위하여 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관하게 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.
10: 영상 촬영 장치
100: 차선 인식 장치
110: 차선 외곽선 추출부
120: 차선 검출부
130: 차선 위치 분석부
140: 관심 영역 설정부
150: 차선 추출부
151: 차로 밝기 산출 파트
152: 밝기 기반 필터링 파트
153: 너비 기반 필터링 파트

Claims (14)

  1. 차량의 도로 주행 영상에서 차선의 외곽선을 추출하는 차선 외곽선 추출부;
    상기 도로 주행 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선의 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출하는 차선 검출부;
    상기 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석하는 차선 위치 분석부; 및
    상기 차선 검출부에 의해 도출된 1차 함수 관계식을 이용하여, 영상에 대한 관심 영역을 설정하는 관심 영역 설정부
    를 포함하고,
    상기 차선 외곽선 추출부는, 상기 관심 영역 설정부에 의해 설정된 관심 영역 이내의 차선에 대한 외곽선을 추출하고,
    상기 차선 검출부에 의해 2개의 1차 함수 관계식이 도출된 경우, 상기 관심 영역 설정부는, 상기 2개의 1차 함수 관계식의 교점을 소실점으로서 산출하고, 산출된 소실점을 이용하여 상기 관심 영역을 설정하며,
    상기 관심 영역 설정부는, 상기 소실점의 위치 및 차로의 너비 정보를 이용하여 기설정된 관심 영역을 보정하는 것을 특징으로 하는 차선 인식 장치.

  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 관심 영역 설정부는, 상기 소실점의 y 좌표값을 상기 관심 영역의 y좌표 상한값으로 설정하고, 상기 차량의 본넷에 대한 y 좌표값을 탐색하여 탐색된 본넷의 y 좌표값을 상기 관심 영역의 y좌표 하한값으로 설정하는 것을 특징으로 하는 차선 인식 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 차선 검출부는, 상기 x와 y 사이의 1차 함수 관계식으로서 다음 관계식을 도출하되,
    Figure 112015077831578-pat00008

    여기서, x 및 y는 변수이고, a는 상수로서 y값의 증가량에 대한 x값의 증가량의 비율, yb는 상기 관심 영역의 y좌표 하한값, xd는 상기 관심 영역의 하한선에서 상기 1차 함수 관계식의 x 좌표값을 나타내는 것을 특징으로 하는 차선 인식 장치.
  7. 제6항에 있어서,
    상기 차선 검출부는, 상기 관심영역의 상한선에 위치하는 t점 및 상기 관심영역의 하한선에 위치하는 d점을 각각 수평 방향으로 이동시키면서, t점과 d점 사이를 연결하는 직선이 상기 차선 외곽선 추출부에 의해 추출된 차선 외곽선에 중첩되는 화소수가 가장 많을 때 상기 t점과 d점 사이를 연결하는 직선에 대한 x와 y 사이의 관계식을 상기 1차 함수 관계식으로서 도출하는 것을 특징으로 하는 차선 인식 장치.
  8. 제7항에 있어서,
    상기 차선 검출부는, 상기 1차 함수 관계식으로서 다음 관계식을 도출하되,
    Figure 112014020432875-pat00009

    여기서, x 및 y는 변수이고, xt 및 yv는 상기 t점의 x 좌표값 및 y 좌표값을 나타내며, xd 및 yb는 상기 d점의 x 좌표값 및 y 좌표값을 나타내는 것을 특징으로 하는 차선 인식 장치.
  9. 제1항에 있어서,
    차량의 도로 주행 영상에서 차선 이외의 영상을 적어도 일부 제거하여 차선을 추출함으로써, 차선 추출 영상을 생성하는 차선 추출부를 더 포함하고,
    상기 차선 외곽선 추출부는, 상기 차선 추출 영상에서 추출된 차선에 대하여 외곽선을 추출하는 것을 특징으로 하는 차선 인식 장치.
  10. 제9항에 있어서,
    상기 차선 추출부는, 상기 도로 주행 영상을 그레이 영상으로서 입력받고, 상기 차선 추출 영상을 이진화 영상으로서 생성하는 것을 특징으로 하는 차선 인식 장치.
  11. 제10항에 있어서,
    상기 차선 추출부는,
    상기 그레이 영상을 입력받아, 밝기 임계값을 산출하는 차로 밝기 산출 파트;
    상기 그레이 영상에서 상기 밝기 임계값 이상의 밝기를 갖는 화소만 추출하여 이진화 영상을 생성하는 밝기 기반 필터링 파트; 및
    상기 밝기 기반 필터링 파트에 의해 추출된 화소 중 화소 너비를 참조 너비 범위와 비교하여, 상기 참조 너비 범위를 벗어난 화소 너비를 갖는 화소를 상기 이진화 영상에서 제거하는 너비 기반 필터링 파트
    를 구비하는 것을 특징으로 하는 차선 인식 장치.
  12. 제11항에 있어서,
    상기 차로 밝기 산출 파트는, 차로에 해당하는 부분을 다수의 영역으로 분할하여, 각 영역에서 화소 밝기 평균값을 계산하고, 상기 화소 밝기 평균값을 기준으로 밝기 임계값을 산출하는 것을 특징으로 하는 차선 인식 장치.
  13. 제11항에 있어서,
    상기 너비 기반 필터링 파트는, 차로 너비에 대한 차선 너비의 비율을 산출하고, 산출된 비율을 참조 비율 범위와 비교하여, 상기 참조 비율 범위를 벗어난 비율을 갖는 화소를 상기 이진화 영상에서 제거하는 것을 특징으로 하는 차선 인식 장치.
  14. 차량의 도로 주행 영상에 대한 관심 영역을 설정하는 단계;
    차량의 도로 주행 영상에서 상기 설정된 관심 영역 이내의 차선에 대한 외곽선을 추출하는 단계;
    상기 도로 주행 영상의 수평 방향축을 x축으로 하고 수직 방향축을 y축으로 한 X-Y 좌표계를 기준으로, 상기 추출된 차선의 외곽선에 대응하는 x와 y 사이의 1차 함수 관계식을 도출하는 단계; 및
    상기 도출된 1차 함수 관계식을 이용하여, 차선의 위치를 분석하는 단계
    를 포함하고,
    상기 관심 영역 설정 단계는, 상기 1차 함수 관계식 도출 단계에서 2개의 1차 함수 관계식이 도출된 경우, 상기 2개의 1차 함수 관계식의 교점을 소실점으로서 산출하고 산출된 소실점을 이용하여 상기 관심 영역을 설정하며, 상기 소실점의 위치 및 차로의 너비 정보를 이용하여 기설정된 관심 영역을 보정하는 것을 특징으로 하는 차선 인식 방법.
KR1020140024568A 2014-02-28 2014-02-28 차선 인식 장치 및 방법 KR101605514B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140024568A KR101605514B1 (ko) 2014-02-28 2014-02-28 차선 인식 장치 및 방법
JP2014131240A JP2015165376A (ja) 2014-02-28 2014-06-26 車線認識装置及び方法
US14/318,442 US20150248771A1 (en) 2014-02-28 2014-06-27 Apparatus and Method for Recognizing Lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140024568A KR101605514B1 (ko) 2014-02-28 2014-02-28 차선 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150102546A KR20150102546A (ko) 2015-09-07
KR101605514B1 true KR101605514B1 (ko) 2016-04-01

Family

ID=54007021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140024568A KR101605514B1 (ko) 2014-02-28 2014-02-28 차선 인식 장치 및 방법

Country Status (3)

Country Link
US (1) US20150248771A1 (ko)
JP (1) JP2015165376A (ko)
KR (1) KR101605514B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015162910A1 (ja) * 2014-04-24 2017-04-13 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
JP6483446B2 (ja) * 2015-01-15 2019-03-13 トヨタ自動車株式会社 複合線判定装置及び複合線判定方法
JP6512920B2 (ja) * 2015-04-21 2019-05-15 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法
WO2016178335A1 (ja) * 2015-05-07 2016-11-10 株式会社日立製作所 レーン検出装置およびレーン検出方法
US10102434B2 (en) * 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
US10102435B2 (en) 2016-08-10 2018-10-16 Omnivision Technologies, Inc. Lane departure warning system and associated methods
CN107886729B (zh) * 2016-09-30 2021-02-23 比亚迪股份有限公司 车辆识别方法、装置及车辆
CN107914600B (zh) * 2016-10-11 2020-09-29 上海汽车集团股份有限公司 道路标线坐标自动采集设备、采集控制方法及控制装置
US10607094B2 (en) * 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
CN107330380A (zh) * 2017-06-14 2017-11-07 千寻位置网络有限公司 基于无人机航拍影像的车道线自动提取和识别方法
KR20190012370A (ko) * 2017-07-27 2019-02-11 삼성에스디에스 주식회사 차선 변경 지원 방법 및 장치
DE102018100292A1 (de) * 2018-01-09 2019-07-11 Connaught Electronics Ltd. Erfassung einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines Fahrzeugs
KR102564856B1 (ko) 2018-09-07 2023-08-08 삼성전자주식회사 차선을 검출하는 방법 및 장치
JP7246165B2 (ja) * 2018-11-06 2023-03-27 株式会社Subaru 路面検出装置
CN110088766B (zh) * 2019-01-14 2023-10-03 京东方科技集团股份有限公司 车道线识别方法、车道线识别装置以及非易失性存储介质
KR102250800B1 (ko) * 2019-09-11 2021-05-11 한국도로공사 노면 객체 인식 기반의 차로 검출 장치 및 방법
JP7453008B2 (ja) 2020-02-06 2024-03-19 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN112150559A (zh) * 2020-09-24 2020-12-29 深圳佑驾创新科技有限公司 图像采集装置的标定方法、计算机设备及存储介质
KR102567276B1 (ko) * 2022-01-27 2023-08-14 소종호 카메라 장치 및 이의 제어방법
CN114724117B (zh) * 2022-06-07 2022-09-13 腾讯科技（深圳）有限公司 车道线关键点数据生成方法、装置、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020053346A (ko) * 2000-12-27 2002-07-05 이계안 차선 모델링 시스템의 곡선로 인식방법
JP3603836B2 (ja) * 2001-11-20 2004-12-22 日産自動車株式会社 道路白線認識装置
JP4392389B2 (ja) * 2005-06-27 2009-12-24 本田技研工業株式会社 車両及び車線認識装置
JP4687563B2 (ja) * 2006-05-23 2011-05-25 株式会社デンソー 車両用レーンマーク認識装置
JP2007328630A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
JP4692613B2 (ja) * 2008-11-28 2011-06-01 トヨタ自動車株式会社 車載装置、及び当該装置で用いられる方法
TWI434239B (zh) * 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
US9235990B2 (en) * 2011-11-25 2016-01-12 Honda Motor Co., Ltd. Vehicle periphery monitoring device
JP2013196387A (ja) * 2012-03-19 2013-09-30 Pioneer Electronic Corp 画像処理装置、及び画像処理方法
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
JP5926645B2 (ja) * 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
KR102058001B1 (ko) * 2012-09-03 2020-01-22 엘지이노텍 주식회사 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법

Also Published As

Publication number Publication date
JP2015165376A (ja) 2015-09-17
KR20150102546A (ko) 2015-09-07
US20150248771A1 (en) 2015-09-03

Similar Documents

Publication Publication Date Title
KR101605514B1 (ko) 차선 인식 장치 및 방법
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
US10970566B2 (en) Lane line detection method and apparatus
CN109284674B (zh) 一种确定车道线的方法及装置
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US9245188B2 (en) Lane detection system and method
US9721460B2 (en) In-vehicle surrounding environment recognition device
KR20220000977A (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US20150227800A1 (en) Marking line detection system and marking line detection method
US11023744B2 (en) Road parameter calculator
EP3832529A1 (en) Detection of obstacles at night by analysis of shadows
US9971946B2 (en) Traveling road surface detection device and traveling road surface detection method
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
JP5401257B2 (ja) 遠赤外線歩行者検知装置
KR101968349B1 (ko) 영상 정보를 이용한 차선 경계 검출 방법
KR20130052614A (ko) 입체물 검출 장치 및 입체물 검출 방법
JP5402828B2 (ja) 車線境界検出装置、車線境界検出プログラム
JP5874831B2 (ja) 立体物検出装置
KR101922852B1 (ko) 영상 기반 색상정보를 이용한 초지 경계 검출 방법
JP2016218539A (ja) 車両の走路認識装置
JP2012150595A (ja) 一時停止線検出装置及びプログラム
JP2016173711A (ja) 走行区画線認識装置
KR20140104516A (ko) 차선 인식 방법 및 장치
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200305

Year of fee payment: 5