KR20130015981A - 차선 인식 장치 및 그 방법 - Google Patents

차선 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20130015981A
KR20130015981A KR1020110078358A KR20110078358A KR20130015981A KR 20130015981 A KR20130015981 A KR 20130015981A KR 1020110078358 A KR1020110078358 A KR 1020110078358A KR 20110078358 A KR20110078358 A KR 20110078358A KR 20130015981 A KR20130015981 A KR 20130015981A
Authority
KR
South Korea
Prior art keywords
lane
detected
image
section
lanes
Prior art date
Application number
KR1020110078358A
Other languages
English (en)
Other versions
KR101677640B1 (ko
Inventor
김종헌
박영경
이중재
김현수
박준오
안드레아스 박
디르 산드라 셰이커
이제훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110078358A priority Critical patent/KR101677640B1/ko
Priority to PCT/KR2011/009843 priority patent/WO2013022154A1/en
Publication of KR20130015981A publication Critical patent/KR20130015981A/ko
Application granted granted Critical
Publication of KR101677640B1 publication Critical patent/KR101677640B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 차량의 주행 차선을 정확히 인식할 수 있는 차선 인식 장치 및 그 방법에 관한 것이다. 본 명세서에 따른 차선 인식 장치는, 카메라 모듈과; 상기 카메라 모듈에 의해 촬영된 영상을 표시하는 표시부와; 상기 카메라 모듈에 의해 촬영된 영상에서 차선 특징점들을 근거로 후보 차선들을 검출하고, 상기 검출된 후보 차선들 중에서 차량의 주행 차선들을 상기 영상에 표시하고, 상기 영상에서 차선 훼손 구간이 검출되면 상기 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간을 보상하는 제어부를 포함할 수 있다.

Description

차선 인식 장치 및 그 방법{APPARATUS FOR DETECTING LANE AND METHOD THEREOF}
본 명세서는 차선 인식 장치 및 그 방법에 관한 것이다.
일반적으로, 차선 인식 장치는 카메라 등을 통해 입력된 또는 외부 단말로부터 수신된 임의의 영상에 포함된 차선을 인식하는 장치이다. 종래 기술에 따른 차선 인식 장치는 한국 특허 공개 번호 1995-0017509에도 개시되어 있다.
본 명세서는 차선을 정확히 인식할 수 있는 차선 인식 장치 및 그 방법을 제공하는 데 목적이 있다.
본 명세서는 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선을 끊김없이 연속적으로 상기 영상에 표시할 수 있는 차선 인식 장치 및 그 방법을 제공하는 데 목적이 있다.
상기 목적을 달성하기 위한 본 명세서에 따른 차선 인식 장치는, 카메라 모듈과; 상기 카메라 모듈에 의해 촬영된 영상을 표시하는 표시부와; 상기 카메라 모듈에 의해 촬영된 영상에서 차선 특징점들을 근거로 후보 차선들을 검출하고, 상기 검출된 후보 차선들 중에서 차량의 주행 차선들을 상기 영상에 표시하고, 상기 영상에서 차선 훼손 구간이 검출되면 상기 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간을 보상하는 제어부를 포함할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는 상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시할 수 있다.
본 명세서와 관련된 일 예로서, 상기 차선 폭에 대응하는 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는 상기 차선 폭을 실시간 또는 주기적으로 산출할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는 상기 주행 차선들 사이의 직선 거리에 대응하는 각 픽셀에 설정된 거리 값을 근거로 상기 차선 폭을 산출할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는 상기 주행 차선들 중에서 어느 하나의 차선에 상기 차선 특징점들이 검출되지 않는 구간을 상기 차선 훼손 구간으로서 검출할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는 상기 주행 차선들에 대응하는 차선 특징점들이 일시적으로 검출되지 않는 구간을 상기 차선 훼손 구간으로서 검출할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는 상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 차선 폭에 대응하는 가상의 차선을 발생하고, 상기 가상의 차선을 상기 차선 훼손 구간에 표시할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는 상기 차선 훼손 구간이 검출되면, 상기 차량의 헤딩 방향을 검출하고, 상기 차선 훼손 구간 이전에 산출된 차선 폭 및 상기 헤딩 방향을 근거로 상기 차선 훼손 구간에 상기 가상의 차선을 표시할 수 있다.
본 명세서와 관련된 일 예로서, 상기 제어부는 상기 차선 훼손 구간 이전에 산출된 차선 폭을 근거로 상기 가상의 차선을 발생하고, 상기 차량의 헤딩 방향을 기준으로 상기 가상의 차선을 상기 영상에 표시할 수 있다.
상기 목적을 달성하기 위한 본 명세서에 따른 차선 인식 방법은, 카메라 모듈에 의해 촬영된 영상에서 차선 특징점들을 근거로 후보 차선들을 검출하는 단계와; 상기 검출된 후보 차선들 중에서 차량의 주행 차선들을 상기 영상에 표시하는 단계와; 상기 영상에서 차선 훼손 구간이 검출되면, 상기 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간을 보상하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따른 차선 인식 장치 및 그 방법은, 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선을 끊김없이 연속적으로 상기 영상에 표시할 수 있으므로 운전자에게 운전상의 편의를 제공할 수 있는 효과가 있다.
본 발명의 실시예들에 따른 차선 인식 장치 및 그 방법은, 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭 및 차량의 헤딩 방향을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선을 끊김없이 연속적으로 정확하게 상기 영상에 표시할 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따라 카메라에 의해 촬영된 영상을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 가이드 라인을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차선 특징점들을 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따라 월드 좌표로 변환된 차선 특징점들을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 주행 차선들을 나타낸 도이다.
도 7은 본 발명의 일 실시예에 따른 차선 인식 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예를 설명하기 위한 차선 훼손 구간을 포함하는 영상을 나타낸 예시도이다.
도 9는 본 발명의 일 실시예를 설명하기 위한 다른 차선 훼손 구간을 포함하는 영상을 나타낸 예시도이다.
도 10은 본 발명의 일 실시예에 따른 표시부에 표시된 영상 및 차선들을 나타낸 도이다.
도 11은 본 발명의 다른 실시예에 따른 차선 인식 방법을 나타낸 흐름도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하에서는, 본 발명의 실시예에 따른 차선 인식 장치의 구성을 도 1을 참조하여 설명한다. 여기서, 도 1의 차선 인식 장치는, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 단말기(Mobile Terminal), 텔레매틱스 단말기(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 태블릿 PC(Tablet PC), 와이브로(Wibro) 단말기, 내비게이션(Navigation) 단말기, AVN(Audio Video Navigation) 단말기 등과 같이 다양한 단말기에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 차선 인식 장치(10)는, 카메라 모듈(110)과; 상기 카메라 모듈(110)에 의해 촬영된 영상을 표시하는 표시부(130)와; 상기 카메라 모듈(110)에 의해 촬영된 영상에서 모든 후보 차선들을 검출하고, 상기 검출된 후보 차선들 중에서 차량에 인접한 차선들(예를 들면, 차량의 좌측에 인접한 차선 및 차량의 우측에 인접한 차선)을 차량의 현재 주행 차선들로서 상기 영상에 표시하고, 상기 주행 차선들 간의 폭을 실시간 또는 주기적으로 산출 및 저장하고, 상기 영상에서 차선 훼손 구간이 검출되면 상기 산출된 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시하는 제어부(120)로 구성된다. 즉, 상기 제어부(120)는 상기 차선 훼손 구간이 검출되면 그 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간을 보상한다.
도 1에 도시한 차선 인식 장치(10)의 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도 1에 도시한 구성 요소보다 많은 구성 요소에 의해 차선 인식 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 차선 인식 장치(10)가 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따라 카메라에 의해 촬영된 영상을 나타낸 예시도이다.
도 2에 도시한 바와 같이, 상기 카메라 모듈(110)은 단일 카메라를 통해 촬영된 영상(310)을 수신한다. 예를 들면, 상기 카메라 모듈(110)은 1차로, 2차로, 3차로 등에 대응하는 차선들 및 백색 또는 황색 실선의 복선(double line)(또는 백색 또는 황색 실선 및 점선의 복선)을 포함하는 영상(210)을 수신할 수 있다.
상기 제어부(120)는, 상기 카메라 모듈(110)을 통해 상기 영상(210)을 수신하고, 상기 영상(210)에서 지지점들(support points)(예를 들면, 차선 특징점들)을 추출하기 위한 미리 설정된 가이드 라인(guide line)을 근거로 상기 촬영된 영상(210) 내에서 복수의 지지점(예를 들면, 차선의 특징점)을 추출한다. 이때, 상기 가이드 라인은, 도 3에 도시한 바와 같이, 상기 영상(210)의 아래쪽은 월드 좌표(world coordinate)로 변환되면 가까운 영역을 나타내고, 상기 영상(210)의 중간 및 위쪽은 월드 좌표로 변환되면 먼 영역을 나타내므로, 상기 영상(210)의 데이터를 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해서, 상기 영상(210)의 아래쪽은 가이드 라인(310)의 줄간 간격을 넓게 설정하고, 상기 영상(210)의 위쪽으로 갈수록 가이드 라인(310)의 줄간 간격을 점점 좁게 설정한다. 여기서, 가이드 라인(310)의 줄간 간격의 변경폭은, 설계자의 설계에 따라 다양하게 설정할 수 있으며, 또한, 월드 좌표로 변환 시 동일한 줄간 간격을 유지하도록 설정할 수 있다. 상기 가이드 라인은, 실제 상기 영상 상에 표시되는 것이 아니라, 상기 지지점들(특징점들)을 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해 사용되는 가상의 라인을 의미한다.
상기 제어부(120)는, 도 4에 도시한 바와 같이, 상기 미리 설정된 가이드 라인을 근거로 상기 영상(310) 내에서 복수의 지지점(차선 특징점들)을 추출하고, 표시부(130)를 통해 상기 추출된 복수의 지지점(410)을 이미지 도메인 상에 표시한다. 즉, 상기 제어부(120)는 차선들(401)에 대응하는 지지점들 및 복선(402)에 대응하는 지지점들을 이미지 도메인 상에 표시한다. 여기서, 수평축(x축)을 기준으로 상기 복수의 지지점들 간의 수직 방향의 간격은 상기 표시부(130)의 수직 방향의 아래쪽에서 수직 방향의 위쪽으로 갈수록 좁아진다.
상기 제어부(120)는, 상기 추출된 복수의 지지점을 월드 좌표로 변환한다. 즉, 상기 제어부(120)는 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 복수의 지지점을 월드 좌표로 변환할 수 있다.
일 예로, 상기 제어부(120)는, 도 5에 도시한 바와 같이, 상기 저장부(140)에 미리 저장된 호모그래픽 행렬을 근거로 상기 추출된 복수의 지지점을 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 복수의 지지점(510)을 상기 표시부(130)에 표시한다. 여기서, 수평축을 기준으로 상기 월드 좌표로 변환된 복수의 지지점들 간의 수직 방향의 간격은 동일한 간격을 유지하게 된다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점 및 상기 저장부(140)에 미리 저장된 커브 방정식을 근거로 상기 월드 좌표로 변환된 복수의 지지점 중에서 커브에 해당하는 복수의 포인트들을 검출(또는 확인)할 수도 있다. 즉, 상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 상기 저장부(140)에 미리 저장된 커브 방정식에 대입하여, 상기 대입 결과를 근거로 상기 월드 좌표로 변환된 복수의 지지점의 커브 유무를 결정(또는 확인)할 수 있다. 여기서, 상기 커브 방정식은 2차원 이상의 방정식일 수 있다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 상기 저장부(140)에 미리 저장된 2차 커브 방정식(예를 들어, y=ax2+bx+c, 여기서 a는 곡률, b는 기울기(또는, 헤딩), C는 옵셋)에 대입하여, a=0이면, 직선으로 인식하고, a≠0이면, 커브로 인식한다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 상기 저장부(140)에 미리 저장된 3차 커브 방정식(예를 들어, y=ax3+bx2+cx+d, 여기서, a는 커브 변화율(curve derivative), b는 곡률, c는 헤딩, d는 옵셋)에 대입하여, 커브 유무를 확인할 수도 있다. 이때, a가 0일 경우, 3차 커브 방정식에서 b는 차선의 곡율, c는 차량의 헤딩, d는 옵셋을 나타내며, a와 b 모두 0일 경우는 직선 검출로서, c는 차량의 헤딩, d는 옵셋을 나타낸다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 추적(tracking)함으로써 차선들을 검출하거나 상기 검출된 커브에 해당하는 복수의 포인트들을 추적함으로써 차선들을 검출한다.
상기 제어부(120)는, 상기 검출된 커브에 해당하는 복수의 포인트들을 근거로 차선의 가상 중앙점을 추종하는 커브 정보를 계산할 수도 있다. 이때, 상기 계산되는 커브 정보는, 카메라의 캘리브레이션 상태의 영향을 최소화하여, 월드 좌표 상에서의 차선 유지 성능을 향상시키는데 이용할 수 있다. 즉, 상기 제어부(120)는, 상기 검출된 커브에 해당하는 복수의 포인트들에 대해서 최소 자승법(least square method), 랜삭(Random Sample Consensus : RANSAC), 일반 허프 변환법(general hough transform method), 스플라인(spline) 보간법 등 중 어느 하나의 방식을 적용하여 차선의 중앙점을 추종하는 커브 정보를 계산할 수도 있다.
상기 제어부(120)는, 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 검출된 커브 등의 정보를 상기 촬영된 영상에 오버랩(overlap)하여 상기 표시부(130)에 표시할 수 있다. 예를 들면, 상기 제어부(120)는, 월드 좌표인 상기 계산된 차선의 중앙점을 추종하는 차선(커브/직선) 정보, 상기 검출된 차선 정보를 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑(mapping))하고, 상기 변환된 각각의 좌표를 상기 촬영된 영상에 오버랩하여 상기 표시부(130)에 표시한다.
도 6은 본 발명의 일 실시예에 따른 주행 차선들을 나타낸 도이다.
도 6에 도시한 바와 같이, 상기 제어부(120)는 상기 검출된 차선들 중에서 차량의 진행 방향을 기준으로 상기 차량의 좌측에 가장 인접한 제1 차선과 상기 차량의 우측에 가장 인접한 제2 차선을 선택하고, 상기 제1 차선 및 제2 차선을 상기 차량의 주행 차선들(610)로서 상기 영상에 표시할 수도 있다. 예를 들면, 상기 제어부(120)는 상기 검출된 제1 차선 및 제2 차선(610)을 상기 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑)하고, 상기 변환된 각각의 좌표를 상기 영상(210)에 오버랩시킨다.
상기 제어부(120)는 상기 영상에서 직접 차선 특징점들(지지점)을 추출하고, 상기 차선 특징점들을 추적함으로써 상기 차선들을 검출할 수도 있다.
상기 카메라 모듈(110)은, 도로의 차선들을 하나의 영상으로 촬영하기 위해 상기 차선 인식 장치(10)의 임의의 동일면 상에 수평 간격으로 이격되어 설치되는 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라(stereo camera) 또는, 스테레오코스픽 카메라(stereoscopic camera)) 또는, 단일 카메라를 포함한다. 이때, 상기 고정된 수평 간격은, 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있다. 또한, 상기 카메라 모듈(110)은 영상 촬영이 가능한 임의의 모든 카메라 모듈일 수도 있다.
상기 카메라 모듈(110)은, 상기 한 쌍의 카메라에 의해 동시에 촬영된 제1 영상(일 예로, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상)과 제2 영상(일 예로, 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상)을 수신한다.
상기 카메라 모듈(110)은, CCD(Charge-Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서일 수 있다.
상기 차선 인식 장치(10)가 차량에 설치될 때, 상기 카메라 모듈(110)은 상기 차량의 소정 위치(예를 들면, 차량의 룸 미러)에 고정되어, 차량의 주행 방향의 전방을 촬영할 수 있다. 상기 카메라 모듈(110)은 차량의 측방, 후방 등을 촬영하도록 상기 차량의 소정 위치(예를 들면, 차량의 사이드 미러, 차량의 뒷 범퍼)에 고정되게 설치될 수도 있다.
상기 제어부(120)는, 임의의 GPS 모듈(도시하지 않음)을 통해 확인되는 상기 차선 인식 장치(10)(또는, 상기 차선 인식 장치(10)가 구비된 차량)의 위치 및 상기 검출된 커브(또는, 차선)를 근거로 차선 유지와 관련된 기능(차선 이탈 경고 메시지 기능, 자동 차선 유지 기능 등 포함)을 수행한다.
상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 저장부(140)에 포함된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시한다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는, 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다.
상기 표시부(130)는, 3차원 디스플레이(3D Display) 또는 2차원 디스플레이(2D Display)를 포함한다. 또한, 상기 표시부(130)는, 액정 디스플레이(Liquid Crystal Display : LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display : TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode : OLED), 플렉시블 디스플레이(Flexible Display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수도 있다.
상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 3차원 영상(또는, 2차원 영상)을 표시한다.
상기 차선 인식 장치(10)의 구현 형태에 따라 상기 표시부(130)가 2개 이상 존재할 수 있다. 예를 들면, 상기 차선 인식 장치(10)에 복수의 표시부들이 하나의 면(동일면)에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
한편, 상기 표시부(130)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 상기 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 상기 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드, 터치 패널 등의 형태를 가질 수 있다.
상기 터치 센서는, 상기 표시부(130)의 특정 부위에 가해진 압력 또는 상기 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 또한, 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(도시하지 않음)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 상기 제어부(120)로 전송한다. 이로써, 상기 제어부(120)는, 상기 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.
상기 표시부(130)는, 근접 센서를 포함할 수 있다. 또한, 상기 근접 센서는, 터치 스크린에 의해 감싸지는 차선 인식 장치(10)의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다.
상기 근접 센서는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. 상기 근접 센서의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭할 수 있으며, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭할 수 있다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.
또한, 상기 근접 센서는, 근접 터치와, 근접 터치 패턴(예를 들면, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린상에 출력될 수 있다.
이와 같이, 상기 표시부(130)가 입력 장치로 사용되는 경우, 사용자에 의한 버튼 조작을 입력받거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 명령 또는 제어 신호를 입력받을 수 있다.
본 발명의 실시예에 따른 차선 인식 장치(10)는 상기 영상 및 상기 차선을 검출하기 위한 프로그램, 실시간 또는 주기적으로 산출된 차선 폭 정보 등을 저장하는 저장부(140)를 포함할 수 있다.
상기 저장부(140)는, 각종 메뉴 화면, 다양한 사용자 인터페이스(User Interface, UI) 및/또는 그래픽 사용자 인터페이스(Graphic User Interface, GUI)를 더 저장할 수 있다.
상기 저장부(140)는 변환 행렬(예를 들면, 호모그래픽 행렬 등), 커브 방정식, 최소 자승법 등의 수학식을 더 저장할 수 있다.
상기 저장부(140)는 상기 차선 인식 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 더 저장할 수 있다.
상기 저장부(140)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 롬(Read-Only Memory : ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 램(Random Access Memory : RAM), SRAM(Static Random Access Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 저장 매체를 포함할 수 있다.
상기 차선 인식 장치(10)는, 상기 제어부(120)의 제어에 의해 임의의 단말기 또는 서버와의 통신 기능을 수행하는 통신부(도시하지 않음)를 더 포함할 수 있다. 이때, 상기 통신부는, 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.
상기 통신부는, 상기 차선 인식 장치(10)가 구비되는 임의의 차량과의 통신을 위한, CAN 통신, 차량용 이더넷, 플렉스레이(flexray), LIN(Local Interconnect Network) 등을 포함할 수 있다.
상기 통신부는, 상기 제어부(120)의 제어에 의해 임의의 영상에 대해 추출된 복수의 지지점, 상기 복수의 지지점을 월드 좌표로 각각 변환한 포인트들, 상기 월드 좌표로 변환한 포인트들 중에서 커브에 해당하는 복수의 포인트들, 상기 커브에 해당하는 복수의 포인트들을 근거로 계산되는 차선의 중앙점을 추종하는 커브 정보 등을 상기 임의의 단말기 또는 서버에 전송할 수 있다.
상기 통신부는 상기 임의의 단말기 또는 서버로부터 전송되는 임의의 한 쌍의 스테레오 카메라를 통해 동시에 촬영된 제1 영상 및 제2 영상을 수신할 수도 있다.
상기 차선 인식 장치(10)는 오디오 신호를 수신하기 위한 적어도 하나 이상의 마이크(도시하지 않음)를 포함하는 입력부(도시하지 않음)를 더 포함할 수 있다.
상기 마이크는, 통화 모드, 녹음 모드, 음성 인식 모드, 영상 회의 모드, 영상 통화 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호(사용자의 음성(음성 신호 또는 음성 정보) 포함)를 수신하여 전기적인 음성 데이터로 처리한다. 또한, 상기 처리된 음성 데이터는 음성 출력부(도시하지 않음)를 통해 출력하거나 또는, 상기 통신부를 통하여 외부 단말기로 송신 가능한 형태로 변환되어 출력될 수 있다. 또한, 상기 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수도 있다.
상기 입력부는, 사용자에 의한 버튼 조작에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신한다.
상기 입력부는, 사용자에 의해 입력된 정보에 대응하는 신호를 수신하며, 키보드(keyboard), 키 패드(Key Pad), 돔 스위치(Dome Switch), 터치 패드(정압/정전), 터치 스크린(touch screen), 조그 셔틀(Jog Shuttle), 조그 휠, 조그 스위치, 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen), 레이저 포인터 등의 다양한 장치가 사용될 수 있다. 이때, 상기 입력부는, 상기 다양한 장치에 의한 입력에 대응하는 신호를 수신한다.
상기 차선 인식 장치(10)는, 상기 제어부(120)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력하는 음성 출력부(도시하지 않음)를 더 포함할 수 있다. 여기서, 상기 음성 출력부는, 스피커가 될 수도 있다.
본 발명의 실시예에 따른 차선 인식 장치 및 그 방법은, 영상 내에서 차선의 후보군이 되는 지지점(특징점)을 추출하여 월드 좌표로 변환하고, 상기 변환된 월드 좌표 상에서 차선을 인식하여 카메라 정보와 월드 좌표 간의 캘리브레이션의 오차 전이에 있어서, 영상에서 직접 차선을 인식하는 방법에 비하여 누적 에러의 가능성을 줄일 수 있다.
본 발명의 실시예에 따른 차선 인식 장치 및 그 방법은, 월드 좌표 상에서 인식된 차선에 대한 정보를 표시하고 이를 근거로 경고 메시지를 생성 및 출력하여, 정확성/민감성을 향상시키고 사용자의 편의를 향상시킬 수 있다.
본 발명의 실시예에 따른 차선 인식 장치 및 그 방법은, 차선 훼손 구간이 검출되면 상기 차선 훼손 구간 이전에 산출된 차선 폭(주행 차선들 간의 폭)을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 운전자에게 운전상의 편의를 제공할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 차선 인식 방법을 도 1 내지 도 10을 참조하여 상세히 설명한다.
도 7은 본 발명의 일 실시예에 따른 차선 인식 방법을 나타낸 흐름도이다.
먼저, 상기 카메라 모듈(110)은, 차선 인식 장치(10)의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치된 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라 또는 스테레오코스픽 카메라)를 통해 촬영된 제1 영상 및 제2 영상을 수신하거나 또는, 단일 카메라를 통해 촬영된 영상을 수신한다. 여기서, 상기 제1 영상은, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상이고, 상기 제2 영상은 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상일 수 있다. 또한, 상기 카메라 모듈(110)은, 상기 한 쌍의 카메라를 통해 촬영된 제1 영상 및 제2 영상 중에서 어느 하나의 영상을 수신할 수도 있다.
상기 카메라 모듈(110)은 단일 카메라를 통해 촬영된 영상(210)을 수신한다. 예를 들면, 상기 카메라 모듈(110)은 1차로, 2차로, 3차로 등에 대응하는 차선들 및/또는 백색 또는 황색 실선의 복선(double line)(또는 백색 또는 황색 실선 및 점선의 복선)을 포함하는 영상(210)을 수신할 수 있다.
상기 제어부(120)는, 상기 카메라 모듈(110)을 통해 상기 영상(210)을 수신하고(S11), 상기 영상(210)에서 지지점들(support points)을 추출하기 위한 미리 설정된 가이드 라인(guide line)을 근거로 상기 촬영된 영상(210) 내에서 복수의 지지점(예를 들면, 차선의 특징점)을 추출한다. 이때, 상기 가이드 라인은, 도 4에 도시한 바와 같이, 상기 영상(210)의 아래쪽은 월드 좌표로 변환되면 가까운 영역을 나타내고, 상기 영상(210)의 중간 및 위쪽은 월드 좌표로 변환되면 먼 영역을 나타내므로, 상기 영상(210)의 데이터를 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해서, 상기 영상(210)의 아래쪽은 가이드 라인(310)의 줄간 간격을 넓게 설정하고, 상기 영상(210)의 위쪽으로 갈수록 가이드 라인(310)의 줄간 간격을 점점 좁게 설정한다. 여기서, 가이드 라인(310)의 줄간 간격의 변경폭은, 설계자의 설계에 따라 다양하게 설정할 수 있으며, 또한, 월드 좌표로 변환 시 동일한 줄간 간격을 유지하도록 설정할 수 있다. 상기 가이드 라인은, 실제 상기 영상 상에 표시되는 것이 아니라, 상기 지지점들(특징점들)을 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해 사용되는 가상의 라인을 의미한다.
상기 제어부(120)는, 도 5에 도시한 바와 같이, 상기 미리 설정된 가이드 라인을 근거로 상기 영상(210) 내에서 복수의 지지점(차선 특징점들)을 추출하고, 표시부(130)를 통해 상기 추출된 복수의 지지점(510)을 이미지 도메인 상에 표시한다. 즉, 상기 제어부(120)는 차선들(501)에 대응하는 지지점들 및 복선(502)에 대응하는 지지점들을 이미지 도메인 상에 표시한다. 여기서, 수평축(x축)을 기준으로 상기 복수의 지지점들 간의 수직 방향의 간격은 상기 표시부(130)의 수직 방향의 아래쪽에서 수직 방향의 위쪽으로 갈수록 좁아진다.
상기 제어부(120)는, 상기 추출된 복수의 지지점을 월드 좌표로 변환한다. 즉, 상기 제어부(120)는 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 복수의 지지점을 월드 좌표로 변환할 수 있다.
일 예로, 상기 제어부(120)는, 도 6에 도시한 바와 같이, 상기 저장부(140)에 미리 저장된 호모그래픽 행렬을 근거로 상기 추출된 복수의 지지점을 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 복수의 지지점(610)을 상기 표시부(130)에 표시한다. 여기서, 수평축을 기준으로 상기 월드 좌표로 변환된 복수의 지지점들 간의 수직 방향의 간격은 동일한 간격을 유지하게 된다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점 및 상기 저장부(140)에 미리 저장된 커브 방정식을 근거로 상기 월드 좌표로 변환된 복수의 지지점 중에서 커브에 해당하는 복수의 포인트들을 검출(또는 확인)할 수도 있다. 즉, 상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 상기 저장부(140)에 미리 저장된 커브 방정식에 대입하여, 상기 대입 결과를 근거로 상기 월드 좌표로 변환된 복수의 지지점의 커브 유무를 결정(또는 확인)할 수 있다. 여기서, 상기 커브 방정식은 2차원 이상의 방정식일 수 있다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 상기 저장부(140)에 미리 저장된 2차 커브 방정식(예를 들어, y=ax2+bx+c, 여기서 a는 곡률, b는 기울기(또는, 헤딩), C는 옵셋)에 대입하여, a=0이면, 직선으로 인식하고, a≠0이면, 커브로 인식한다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 상기 저장부(140)에 미리 저장된 3차 커브 방정식(예를 들어, y=ax3+bx2+cx+d, 여기서, a는 커브 변화율(curve derivative), b는 곡률, c는 헤딩, d는 옵셋)에 대입하여, 커브 유무를 확인할 수도 있다. 이때, a가 0일 경우, 3차 커브 방정식에서 b는 차선의 곡율, c는 차량의 헤딩, d는 옵셋을 나타내며, a와 b 모두 0일 경우는 직선 검출로서, c는 차량의 헤딩, d는 옵셋을 나타낸다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 추적(tracking)함으로써 차선들을 검출하거나 상기 검출된 커브에 해당하는 복수의 포인트들을 추적함으로써 차선들을 검출한다.
상기 제어부(120)는 상기 검출된 차선들 중에서 차량의 주행 방향을 기준으로 상기 차량의 좌측에 가장 인접한 제1 차선과 상기 차량의 우측에 가장 인접한 제2 차선을 상기 차량의 주행 차선들로 검출한다(S12).
상기 제어부(120)는 상기 검출된 주행 차선들을 상기 영상에 표시한다. 예를 들면, 상기 제어부(120)는 상기 검출된 주행 차선들을 상기 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑)하고, 상기 변환된 각각의 좌표를 상기 영상(210)에 오버랩시킨다.
상기 제어부(120)는 상기 주행 차선들 간의 차선 폭을 실시간 또는 주기적으로 산출하고(S13), 그 산출된 차선 폭을 상기 저장부(140)에 저장시킨다. 예를 들면, 상기 제어부(120)는 상기 주행 차선들 사이에 위치한 픽셀들(Pixels)(예를 들면, 주행 차선들을 연결하는 하나의 직선 라인에 해당하는 픽셀들)을 근거로 차선 폭을 산출한다. 여기서, 각 픽셀은 서로 동일한 거리 값 또는 서로 다른 거리 값을 가질 수 있다. 즉, 두 개의 차선들(주행 차선들) 사이에 위치한 픽셀들이 30개이고, 각 픽셀에 미리설정된 거리값이 각각 10cm라고 가정할 때, 상기 두 개의 차선들 사이의 차선 폭은 300cm(10cm*30=300cm)가 된다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 근거로 상기 주행 차선들 간의 차선 폭을 산출할 수도 있다.
상기 제어부(120)는 상기 영상에서 차선 훼손 구간이 검출되었는지를 판단한다(S14). 예를 들면, 상기 제어부(120)는 상기 주행 차선들 중에서 어느 하나의 차선에 상기 차선 특징점들이 검출되지 않는 구간을 상기 차선 훼손 구간으로서 검출할 수 있다.
도 8은 본 발명의 일 실시예를 설명하기 위한 차선 훼손 구간을 포함하는 영상(810)을 나타낸 예시도이다.
도 8에 도시한 바와 같이, 상기 제어부(120)는 상기 주행 차선들(610) 중에서 어느 하나의 차선에 상기 차선 특징점들이 검출되지 않는 구간(801)이 발생하면, 그 차선 특징점들이 검출되지 않는 구간(801)을 상기 차선 훼손 구간(801)으로서 검출할 수 있다.
상기 제어부(120)는 상기 주행 차선들(610)에 대응하는 차선 특징점들이 일시적으로 검출되지 않는 구간을 상기 차선 훼손 구간으로서 검출할 수도 있다.
도 9는 본 발명의 일 실시예를 설명하기 위한 다른 차선 훼손 구간을 포함하는 영상(910)을 나타낸 예시도이다.
도 9에 도시한 바와 같이, 상기 제어부(120)는 상기 주행 차선들(610)에 대응하는 차선 특징점들이 일시적으로 검출되지 않는 구간(들)(801, 901)을 상기 차선 훼손 구간으로서 검출할 수도 있다.
상기 제어부(120)는 상기 차선 훼손 구간이 검출되면 상기 산출된 차선 폭을 근거로 상기 차선 훼손 구간을 보상한다(S15). 예를 들면, 상기 제어부(120)는 상기 차선 훼손 구간(801, 901)이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 상기 저장부(140)로부터 읽어내고, 그 읽어낸 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시한다. 즉, 상기 제어부(120)는 상기 차선 훼손 구간(801, 901)이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭에 대응하는 가상의 차선을 발생하고, 상기 가상의 차선을 상기 차선 훼손 구간에 표시한다.
도 10은 본 발명의 일 실시예에 따른 표시부에 표시된 영상 및 차선들을 나타낸 도이다.
도 10에 도시한 바와 같이, 상기 제어부(120)는 상기 차선 훼손 구간(801, 901)이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 상기 저장부(140)로부터 읽어내고, 그 읽어낸 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선(1010)을 끊김없이 연속적으로 상기 영상에 표시할 수 있으므로 운전자에게 운전상의 편의를 제공할 수 있다.
한편, 상기 제어부(120)는, 임의의 GPS 모듈(도시하지 않음)을 통해 확인되는 상기 차선 인식 장치(10)(또는, 상기 차선 인식 장치(10)가 구비된 차량)의 위치 및 상기 확인된 커브(또는, 차선)를 근거로 차선 유지와 관련된 기능(차선 이탈 경고 메시지 기능, 자동 차선 유지 기능 등 포함)을 수행한다.
따라서, 본 발명의 일 실시예에 따른 차선 인식 장치 및 그 방법은, 상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선을 끊김없이 연속적으로 상기 영상에 표시할 수 있으므로 운전자에게 운전상의 편의를 제공할 수 있다.
이하에서는, 본 발명의 다른 실시예에 따른 차선 인식 방법을 도 1 및 도 11을 참조하여 상세히 설명한다.
도 11은 본 발명의 다른 실시예에 따른 차선 인식 방법을 나타낸 흐름도이다.
먼저, 상기 카메라 모듈(110)은, 차선 인식 장치(10)의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치된 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라 또는 스테레오코스픽 카메라)를 통해 촬영된 제1 영상 및 제2 영상을 수신하거나 또는, 단일 카메라를 통해 촬영된 영상을 수신한다. 여기서, 상기 제1 영상은, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상이고, 상기 제2 영상은 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상일 수 있다. 또한, 상기 카메라 모듈(110)은, 상기 한 쌍의 카메라를 통해 촬영된 제1 영상 및 제2 영상 중에서 어느 하나의 영상을 수신할 수도 있다.
상기 제어부(120)는, 상기 카메라 모듈(110)을 통해 상기 영상(210)을 수신하고(S21), 상기 영상(210)에서 지지점들(support points)을 추출하기 위한 미리 설정된 가이드 라인(guide line)을 근거로 상기 촬영된 영상(210) 내에서 복수의 지지점(예를 들면, 차선의 특징점)을 추출한다.
상기 제어부(120)는, 상기 추출된 복수의 지지점을 월드 좌표로 변환한다. 즉, 상기 제어부(120)는 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 복수의 지지점을 월드 좌표로 변환할 수 있다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점 및 상기 저장부(140)에 미리 저장된 커브 방정식을 근거로 상기 월드 좌표로 변환된 복수의 지지점 중에서 커브에 해당하는 복수의 포인트들을 검출(또는 확인)할 수도 있다.
상기 제어부(120)는, 상기 월드 좌표로 변환된 복수의 지지점을 추적(tracking)함으로써 차선들을 검출하거나 상기 검출된 커브에 해당하는 복수의 포인트들을 추적함으로써 차선들을 검출한다.
상기 제어부(120)는 상기 검출된 차선들 중에서 차량의 주행 방향을 기준으로 상기 차량의 좌측에 가장 인접한 제1 차선과 상기 차량의 우측에 가장 인접한 제2 차선을 상기 차량의 주행 차선들로 검출한다(S22).
상기 제어부(120)는 상기 검출된 주행 차선들을 상기 영상에 표시한다. 예를 들면, 상기 제어부(120)는 상기 검출된 주행 차선들을 상기 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑)하고, 상기 변환된 각각의 좌표를 상기 영상(210)에 오버랩시킨다.
상기 제어부(120)는 상기 주행 차선들 간의 차선 폭을 실시간 또는 주기적으로 산출하고(S23), 그 산출된 차선 폭을 상기 저장부(140)에 저장시킨다. 예를 들면, 상기 제어부(120)는 상기 주행 차선들 사이에 위치한 픽셀들(Pixels)(예를 들면, 주행 차선들을 연결하는 하나의 직선 라인에 해당하는 픽셀들)을 근거로 차선 폭을 산출한다. 여기서, 각 픽셀은 서로 동일한 거리 값 또는 서로 다른 거리 값을 가질 수 있다. 즉, 두 개의 차선들(주행 차선들) 사이에 위치한 픽셀들이 30개이고, 각 픽셀에 미리설정된 거리값이 각각 10cm라고 가정할 때, 상기 두 개의 차선들 사이의 차선 폭은 300cm(10cm*30=300cm)가 된다.
상기 제어부(120)는 상기 영상에서 차선 훼손 구간이 검출되었는지를 판단한다(S24). 예를 들면, 상기 제어부(120)는 상기 주행 차선들(610) 중에서 어느 하나의 차선에 상기 차선 특징점들이 검출되지 않는 구간(801)이 발생하면, 그 차선 특징점들이 검출되지 않는 구간(801)을 상기 차선 훼손 구간(801)으로서 검출할 수 있다. 상기 제어부(120)는 상기 주행 차선들(610)에 대응하는 차선 특징점들이 일시적으로 검출되지 않는 구간(들)(801, 901)을 상기 차선 훼손 구간으로서 검출할 수도 있다.
상기 제어부(120)는 상기 차선 훼손 구간이 검출되면 상기 차량의 헤딩 방향을 검출한다(S25). 예를 들면, 상기 제어부(120)는 차량 인터페이스를 통해 차량의 ECU(Electronic Control Unit)로부터 상기 차량의 헤딩 각도(heading angle)를 수신하거나, 상기 차량의 헤딩 각도(heading angle) 검출 센서를 상기 차선 인식 장치에 더 설치함으로써 상기 차량의 헤딩 방향을 검출할 수 있다.
상기 제어부(120)는 상기 산출된 차선 폭 및 상기 차량의 헤딩 방향을 근거로 상기 차선 훼손 구간에 상기 가상의 차선을 표시한다(차선의 훼손 구간을 보상한다)(S26). 예를 들면, 상기 제어부(120)는 상기 차선 훼손 구간(801, 901)이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 상기 저장부(140)로부터 읽어내고, 그 읽어낸 차선 폭에 대응하는 가상의 차선을 발생하고, 상기 차량의 헤딩 방향을 기준으로 상기 가상의 차선을 표시한다.
따라서, 본 발명의 다른 실시예에 따른 차선 인식 장치 및 그 방법은, 상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭 및 차량의 헤딩 방향을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선을 끊김없이 연속적으로 정확하게 상기 영상에 표시할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예들에 따른 차선 인식 장치 및 그 방법은, 상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선을 끊김없이 연속적으로 상기 영상에 표시할 수 있으므로 운전자에게 운전상의 편의를 제공할 수 있다.
본 발명의 실시예들에 따른 차선 인식 장치 및 그 방법은, 상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 주행 차선들 간의 차선 폭 및 차량의 헤딩 방향을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시함으로써 주행 차선을 끊김없이 연속적으로 정확하게 상기 영상에 표시할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차선 인식 장치 110: 카메라 모듈
120: 제어부 130: 표시부
140: 저장부

Claims (15)

  1. 카메라 모듈과;
    상기 카메라 모듈에 의해 촬영된 영상을 표시하는 표시부와;
    상기 카메라 모듈에 의해 촬영된 영상에서 차선 특징점들을 근거로 후보 차선들을 검출하고, 상기 검출된 후보 차선들 중에서 차량의 주행 차선들을 상기 영상에 표시하고, 상기 영상에서 차선 훼손 구간이 검출되면 상기 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간을 보상하는 제어부를 포함하는 것을 특징으로 하는 차선 인식 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시하는 것을 특징으로 하는 차선 인식 장치.
  3. 제1항에 있어서,
    상기 차선 폭에 대응하는 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는 상기 차선 폭을 실시간 또는 주기적으로 산출하는 것을 특징으로 하는 차선 인식 장치.
  4. 제1항에 있어서, 상기 제어부는,
    상기 차선 특징점들을 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 차선 특징점들을 근거로 상기 차선 폭을 산출하는 것을 특징으로 하는 차선 인식 장치.
  5. 제1항에 있어서, 상기 제어부는,
    상기 주행 차선들 중에서 어느 하나의 차선에 상기 차선 특징점들이 검출되지 않는 구간을 상기 차선 훼손 구간으로서 검출하는 것을 특징으로 하는 차선 인식 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 주행 차선들에 대응하는 차선 특징점들이 일시적으로 검출되지 않는 구간을 상기 차선 훼손 구간으로서 검출하는 것을 특징으로 하는 차선 인식 장치.
  7. 제1항에 있어서, 상기 제어부는,
    상기 차선 훼손 구간이 검출되면, 상기 검출된 차선 훼손 구간 이전에 산출된 차선 폭에 대응하는 가상의 차선을 발생하고, 상기 가상의 차선을 상기 차선 훼손 구간에 표시하는 것을 특징으로 하는 차선 인식 장치.
  8. 제1항에 있어서, 상기 제어부는,
    상기 차선 훼손 구간이 검출되면, 상기 차량의 헤딩 방향을 검출하고, 상기 차선 훼손 구간 이전에 산출된 차선 폭 및 상기 헤딩 방향을 근거로 상기 차선 훼손 구간에 상기 가상의 차선을 표시하는 것을 특징으로 하는 차선 인식 장치.
  9. 제8항에 있어서, 상기 제어부는,
    상기 차선 훼손 구간 이전에 산출된 차선 폭을 근거로 상기 가상의 차선을 발생하고, 상기 차량의 헤딩 방향을 기준으로 상기 가상의 차선을 상기 영상에 표시하는 것을 특징으로 하는 차선 인식 장치.
  10. 카메라 모듈에 의해 촬영된 영상에서 차선 특징점들을 근거로 후보 차선들을 검출하는 단계와;
    상기 검출된 후보 차선들 중에서 차량의 주행 차선들을 상기 영상에 표시하는 단계와;
    상기 영상에서 차선 훼손 구간이 검출되면, 상기 주행 차선들 간의 차선 폭을 근거로 상기 차선 훼손 구간을 보상하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  11. 제10항에 있어서, 상기 차선 훼손 구간을 보상하는 단계는,
    상기 검출된 차선 훼손 구간 이전에 산출된 차선 폭을 근거로 상기 차선 훼손 구간에 가상의 차선을 표시하는 것을 특징으로 하는 차선 인식 방법.
  12. 제10항에 있어서,
    상기 차선 폭에 대응하는 정보를 저장하는 단계를 더 포함하며, 상기 차선 폭은 실시간 또는 주기적으로 산출되는 것을 특징으로 하는 차선 인식 방법.
  13. 제10항에 있어서, 상기 차선 폭은,
    상기 차선 특징점들을 월드 좌표로 변환하는 단계와;
    상기 월드 좌표로 변환된 차선 특징점들을 근거로 상기 차선 폭을 산출하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
  14. 제10항에 있어서, 상기 차선 훼손 구간은,
    상기 주행 차선들 중에서 어느 하나의 차선에 상기 차선 특징점들이 검출되지 않는 구간 또는 상기 주행 차선들에 대응하는 차선 특징점들이 일시적으로 검출되지 않는 구간인 것을 특징으로 하는 차선 인식 방법.
  15. 제10항에 있어서, 상기 차선 훼손 구간을 보상하는 단계는,
    상기 차선 훼손 구간이 검출되면, 상기 차량의 헤딩 방향을 검출하는 단계와;
    상기 차선 훼손 구간 이전에 산출된 차선 폭 및 상기 헤딩 방향을 근거로 상기 차선 훼손 구간에 상기 가상의 차선을 표시하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.
KR1020110078358A 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법 KR101677640B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110078358A KR101677640B1 (ko) 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법
PCT/KR2011/009843 WO2013022154A1 (en) 2011-08-05 2011-12-20 Apparatus and method for detecting lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110078358A KR101677640B1 (ko) 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130015981A true KR20130015981A (ko) 2013-02-14
KR101677640B1 KR101677640B1 (ko) 2016-11-18

Family

ID=47668643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110078358A KR101677640B1 (ko) 2011-08-05 2011-08-05 차선 인식 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101677640B1 (ko)
WO (1) WO2013022154A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007022A (ko) * 2014-07-10 2016-01-20 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
CN106364403A (zh) * 2016-10-14 2017-02-01 深圳市元征科技股份有限公司 一种车道识别方法及移动终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454970B2 (en) 2018-05-21 2022-09-27 Cummins Inc. Adjustment of autonomous vehicle control authority

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064946A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치
KR20090098167A (ko) * 2008-03-13 2009-09-17 주식회사 만도 거리센서를 이용한 차선인식 방법 및 그 시스템
JP2010030399A (ja) * 2008-07-28 2010-02-12 Nissan Motor Co Ltd 車両運転支援装置及び車両運転支援方法
KR20100104495A (ko) * 2009-03-18 2010-09-29 현대자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101262921B1 (ko) * 2009-11-10 2013-05-09 한국전자통신연구원 차량의 차선 유지 및 이탈 방지 장치, 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064946A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치
KR20090098167A (ko) * 2008-03-13 2009-09-17 주식회사 만도 거리센서를 이용한 차선인식 방법 및 그 시스템
JP2010030399A (ja) * 2008-07-28 2010-02-12 Nissan Motor Co Ltd 車両運転支援装置及び車両運転支援方法
KR20100104495A (ko) * 2009-03-18 2010-09-29 현대자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007022A (ko) * 2014-07-10 2016-01-20 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
CN106364403A (zh) * 2016-10-14 2017-02-01 深圳市元征科技股份有限公司 一种车道识别方法及移动终端

Also Published As

Publication number Publication date
WO2013022154A1 (en) 2013-02-14
KR101677640B1 (ko) 2016-11-18

Similar Documents

Publication Publication Date Title
KR20130015746A (ko) 차선 인식 장치 및 그 방법
US11516381B2 (en) Display device and operating method thereof with adjustments related to an image display according to bending motion of the display device
KR101983725B1 (ko) 전자 기기 및 전자 기기의 제어 방법
US10990226B2 (en) Inputting information using a virtual canvas
KR101575159B1 (ko) 주차 정보 제공을 위한 모바일 단말기용 어플리케이션의 동작방법
TW201419124A (zh) 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體
US20150262343A1 (en) Image processing device and image processing method
KR101563542B1 (ko) 모바일 단말기를 이용한 주차 정보 제공 시스템
CN105468261A (zh) 移动终端及其控制方法
KR101641251B1 (ko) 차선 인식 장치 및 그 방법
KR101667727B1 (ko) 이동 단말기 및 이의 제어방법
KR101257871B1 (ko) 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법
KR102223281B1 (ko) 이동단말기 및 그 제어방법
KR20170055865A (ko) 롤러블 이동 단말기 및 그것의 제어방법
KR102518535B1 (ko) 차량의 영상 처리 장치 및 방법
KR101677640B1 (ko) 차선 인식 장치 및 그 방법
KR101658089B1 (ko) 차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치
KR101612821B1 (ko) 차선 인식 장치 및 그 방법
KR101224090B1 (ko) 근접 차량 검출 방법 및 그 장치
KR101612817B1 (ko) 차량 추적 방법 및 그 장치
KR20130015975A (ko) 차량을 검출하기 위한 방법 및 장치
US10929007B2 (en) Method of displaying object on device, device for performing the same, and recording medium for performing the method
US20160379416A1 (en) Apparatus and method for controlling object movement
KR20130015974A (ko) 광류를 기반으로 한 검출 장치 및 검출 방법
KR20130006893A (ko) 차선 인식 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 4