KR101787996B1 - 차선 추정 장치 및 그 방법 - Google Patents

차선 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR101787996B1
KR101787996B1 KR1020130039681A KR20130039681A KR101787996B1 KR 101787996 B1 KR101787996 B1 KR 101787996B1 KR 1020130039681 A KR1020130039681 A KR 1020130039681A KR 20130039681 A KR20130039681 A KR 20130039681A KR 101787996 B1 KR101787996 B1 KR 101787996B1
Authority
KR
South Korea
Prior art keywords
lane
detected
vehicle
virtual lane
generated
Prior art date
Application number
KR1020130039681A
Other languages
English (en)
Other versions
KR20140122810A (ko
Inventor
김현욱
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51618506&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101787996(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020130039681A priority Critical patent/KR101787996B1/ko
Priority to US14/251,042 priority patent/US9664787B2/en
Priority to DE102014005688.0A priority patent/DE102014005688B4/de
Priority to CN201410208141.2A priority patent/CN104108392B/zh
Publication of KR20140122810A publication Critical patent/KR20140122810A/ko
Application granted granted Critical
Publication of KR101787996B1 publication Critical patent/KR101787996B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

차선 추정 장치 및 그 방법이 개시된다. 본 발명의 일실시예에 따른 차선 추정 장치는 차량 전방 영상을 촬영하는 카메라부와, 차량 전방의 복수의 정지 물체를 감지하는 레이더부와, 카메라부를 통해 촬영된 영상에서 차선을 검출하고, 레이더부를 통해 감지된 정지 물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하고, 차량과 상기 복수의 정지 물체 간의 거리를 기준으로 근거리 영역과 원거리 영역으로 구분된 차선영역들 적어도 하나의 영역에 대하여 검출된 차선과 생성된 가상 차선의 유사성을 비교하고, 비교결과에 따라 생성된 가상 차선이 유효한지를 판단하고, 상기 판단결과 가상 차선이 유효하면 검출된 차선과 가상 차선을 근거로 최종 차선을 생성하고, 생성된 최종 차선을 차량의 주행 차선으로 인식하는 차선 추정부를 포함한다.

Description

차선 추정 장치 및 그 방법{APPARATUS OF ESTIMATING TRAFFIC LANE IN VEHICLE, CONTROL METHOD OF THEREOF}
본 발명은 차선 추정 장치 및 그 방법에 관한 것으로, 주행 차선을 보다 정확하게 추정할 수 있는 차선 추정 장치 및 그 방법에 관한 것이다.
일반적으로, 차선 유지 보조 시스템(Lane Keeping Assist System ; LKAS)은 카메라의 차선 정보를 활용하여 주행 중 차선 이탈 시, 보조 조향력을 발생시켜 운전의 편의를 돕는 시스템이다.
하지만 카메라는 직사광선(역광), 도로 위 먼지, 등에 의해 차선의 미인식이나 오인식 상황이 발생할 수 있고, 인식까지 걸리는 시각 지연 등에 따라 차선유지 보조 기능에 제약이 발생할 수 있다.
또한 LKAS는 근거리와 원거리의 차선 변화에 대해서도 민감하게 동작하는데, 차선의 경우 인식 시간이 오래 걸리기 때문에 성능의 제약이 따른다.
본 발명의 실시예는 차선 유지 보조 제어 중 차량의 전방을 촬영하는 카메라와 함께 주행 경로 옆의 정지 물체를 감지하는 레이더를 활용하여 차선의 인식 성능 및 반응성을 향상시키는 차선 추정 장치 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 차량 전방 영상을 촬영하는 카메라부; 차량 전방의 복수의 정지 물체를 감지하는 레이더부; 및 상기 카메라부를 통해 촬영된 영상에서 차선을 검출하고, 상기 레이더부를 통해 감지된 정지 물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하고, 상기 검출된 차선과 상기 생성된 가상 차선 간의 거리를 근거로 상기 생성된 가상 차선이 유효한지를 판단하고, 상기 판단결과 상기 생성된 가상 차선이 유효하면 상기 검출된 차선과 상기 생성된 가상 차선을 근거로 최종 차선을 생성하고, 상기 생성된 최종 차선을 차량의 주행 차선으로 인식하는 차선 추정부를 포함하는 차선 추정 장치가 제공될 수 있다.
또한, 상기 차선 추정부는, 상기 카메라부를 통해 촬영된 영상에서 차선을 검출하는 차선 검출부; 상기 레이더부를 통해 감지된 정지 물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하는 가상 차선 생성부; 상기 차량과 상기 복수의 정지 물체 간의 거리를 기준으로 근거리 영역과 원거리 영역으로 구분된 차선영역들 중 적어도 하나의 영역에 대하여 상기 검출된 차선과 상기 생성된 가상 차선의 유사성을 비교하고, 비교결과에 따라 상기 생성된 가상 차선이 유효한지를 판단하는 가상 차선 유효성 판단부; 상기 판단결과 상기 생성된 가상 차선이 유효하면 상기 검출된 차선과 상기 생성된 가상 차선을 근거로 최종 차선을 생성하는 최종 차선 생성부; 및 상기 생성된 최종 차선을 차량의 주행 차선으로 인식하는 차선 인식부를 포함할 수 있다.
삭제
또한, 상기 가상 차선 유효성 판단부는 상기 근거리 영역에서의 상기 두 차선들의 횡방향 거리 오차가 기준오차보다 작으면, 상기 생성된 가상 차선이 유효한 것으로 판단할 수 있다.
또한, 상기 최종 차선 생성부는 상기 근거리 영역에서 상기 생성된 가상 차선이 유효하면, 상기 원거리 영역에서 상기 검출된 차선과 상기 생성된 가상 차선의 횡방향 거리 오차를 산출하고, 상기 산출된 오차가 미리 설정된 범위 이내이면, 상기 최종 차선을 생성할 수 있다.
또한, 상기 최종 차선 생성부는 상기 근거리 영역에 대해서는 상기 검출된 차선을, 상기 원거리 영역에 대해서는 상기 생성된 가상 차선을 선택하고, 상기 선택된 차선들을 결합하여 최종 차선을 생성할 수 있다.
본 발명의 다른 측면에 따르면, 차량 전방 영상을 촬영하는 카메라부에 의해 촬영된 영상에서 차선을 검출하고, 상기 차량 전방의 복수의 정지 물체를 감지하는 레이더부에 의해 감지된 정지물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하고, 상기 검출된 차선과 상기 생성된 가상 차선 간의 거리를 근거로 상기 생성된 가상 차선이 유효한지를 판단하고, 상기 판단결과 상기 생성된 가상 차선이 유효하면 상기 검출된 차선과 상기 생성된 가상 차선을 근거로 최종 차선을 생성하고, 상기 생성된 최종 차선을 차량의 주행 차선으로 인식하는 것을 포함하는 차선 추정 방법이 제공될 수 있다.
삭제
삭제
또한, 상기 차량과 상기 복수의 정지 물체 간의 거리를 기준으로 근거리 영역과 원거리 영역으로 구분된 차선영역들 중 상기 근거리 영역에서의 상기 두 차선들의 횡방향 거리 오차가 기준오차보다 작고, 상기 원거리 영역에서의 상기 두 차선들의 횡방향 거리 오차가 미리 설정된 범위 이내이면, 상기 생성된 가상 차선이 유효한 것으로 판단할 수 있다.
또한, 상기 근거리 영역에 대해서는 상기 검출된 차선을, 상기 원거리 영역에 대해서는 상기 생성된 가상 차선을 선택하고, 상기 선택된 차선들을 결합하여 상기 최종 차선을 생성하는 것을 포함할 수 있다.
본 발명의 실시예는 차선 유지 보조 제어 중 카메라에 의해 촬영된 영상을 통해 검출한 차선과 레이더에 의해 감지된 도로 옆의 정지 물체들을 이용한 가상 차선을 이용하여 주행 차선을 추정함으로써 카메라만을 이용한 차선 추정방식보다 차선 인식의 반응성을 향상시킬 수 있고 차선인 식의 정확도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 차선 추정 장치의 제어블록도이다.
도 2는 본 발명의 실시예에 따른 차선 추정 장치의 차선 추정부의 구성을 보인 도면이다.
도 3은 본 발명의 실시예에 따른 차선 추정 장치에서 카메라부를 이용하여 검출한 차선과 레이더부를 이용하여 감지한 정지 물체들을 이용한 가상 차선을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 차선 추정 장치에서 근거리 영역에 대해서는 카메라부를 이용하여 검출한 차선을, 원거리 영역에 대해서는 레이더부를 통해 감지한 정지 물체를 이용하여 생성한 가상 차선을 결합하여 생성한 최종 차선을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 차선 추정 방법에 대한 제어흐름도이다.
이하에서는 본 발명의 실시 예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
본 명세서에서 “및/또는” 이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, "연결되는/결합되는"이란 표현은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다. 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
도 1은 본 발명의 실시예에 따른 차선 추정 장치의 제어블록도이다.
도 1에 참조하면, 차선 추정 장치는 카메라부(10), 레이더부(11) 및 차선 추정부(20)를 포함할 수 있다.
카메라부(10)는 차량 전방의 도로 영상을 촬영한다. 카메라부(10)는 CCD(Charge coupled device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 영상 센서를 포함할 수 있다. 또한, 카메라부(10)는 CCD 또는 CMOS 영상 센서로부터 수신한 신호를 처리하고 연산하는 연산 장치를 포함할 수 있다.
카메라부(10)는 광축 방향이 차량의 진행 방향에 일치하도록 차량의 앞쪽에 장착된다.
카메라부(10)는 좌우방향에 촬영 범위가 넓고, 주행하고 있는 도로를 충분히 촬영 가능하다. 카메라부(10)는 영상 센서에 의해 차량의 전방의 도로를 촬영하고, 그 촬영한 영상을 연산 장치에 출력한다.
레이더부(11)는 차량 전방의 도로상의 물체를 감지한다. 레이더부(11)는 차량 전방의 도로를 따라 배치한 정지 물체들을 감지한다. 예를 들면, 정지 물체는 도로를 따라 위치한 전신주, 가로수, 가드레일(guardrail), 벽 등을 포함할 수 있다.
레이더부(11)는 마이크로파 정도의 전자기파 등의 레이더 신호를 물체에 발사시켜 그 물체에서 반사되는 레이더 반사 신호를 수신하여 물체와의 거리와 방향을 알아내는 장치이다.
레이더부(11)는 차량 전방의 소정의 높이 위치에 장착될 수 있다. 레이더부(11)는 레이더 신호를 좌우방향에 주사하면서 차량으로부터 전방으로 향하여 송신하고, 반사되는 레이더 반사 신호를 수신한다.
레이더부(11)는 대상 물체까지의 왕복 거리는 레이더 신호를 송신하고 나서 대상 물체로부터의 레이더 반사 신호를 수신할 때까지의 시간으로부터 얻을 수 있다.
즉, 레이더부(11)는 레이더 신호를 송신하고 대상 물체로부터의 레이더 반사 신호를 검출하여 송수신할 때까지의 시간을 측정하고, 대상 물체까지의 거리를 산출할 수 있다.
차선 추정부(20)는 카메라부(10)에 의해 촬영된 영상에서 차선을 검출하고, 레이더부(10)에 의해 감지된 정지 물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하고, 차량과 복수의 정지 물체 간의 거리를 기준으로 근거리 영역과 원거리 영역으로 구분된 차선영역 중에서 근거리 영역에 대하여 검출된 차선과 생성된 가상 차선의 유사성을 비교하고, 비교결과에 따라 가상 차선이 유효한지를 판단하고, 판단결과 가상 차선이 유효하면 근거리 영역에 대해서는 검출된 차선을, 원거리 영역에 대해서는 가상 차선을 선택하고, 선택된 차선들을 결합하여 최종 차선을 생성하고, 생성된 최종 차선을 차량의 주행 차선으로 인식한다.
이와 같이, 카메라부(10)를 통해 촬영된 영상을 통해 검출한 차선과 레이더부(11)를 통해 감지된 도로 옆의 정지 물체들을 이용한 가상 차선을 이용하여 최종 차선을 생성하고, 생성된 최종 차선을 주행 차선으로 인식함으로써 카메라만을 이용한 차선 추정방식보다 차선 인식의 반응성을 향상시킬 수 있고 차선 인식의 정확도를 높일 수 있다.
차선 추정부(20)는 차선 검출부(21), 가상 차선 생성부(22), 가상 차선 유효성 판단부(23), 최종 차선 생성부(24), 차선 인식부(25)를 포함할 수 있다.
차선 검출부(21)는 카메라부(10)에 의해 촬영된 영상을 통해 차선을 검출하기 위한 구성으로서, 카메라 영상을 필터링 알고리즘을 이용하여 도로상에서 밝은 부분을 형성하는 차선을 추출해 낸다. 이러한 차선 검출부(21)는 차선을 검출하기 위하여 에지 필터나 차선 강조 필터 등을 사용할 수 있다. 에지 필터는 영상 좌표에서 X 방향과 Y 방향의 각각의 픽셀마다 명도 차이를 이용하여 영상에서 경계를 이루는 부분을 찾아낸다. 차선 강조 필터는 명암의 평균값을 이용하여 주변 명암에 대비하여 밝은 차선이 더욱 두드러지도록 나타내어 차선을 강조한다.
가상 차선 생성부(22)는 레이더부(11)를 통해 감지된 전방 도로의 정지 물체들에 기반하여 가상 차선을 생성한다. 가상 차선은 정지 물체들을 잇는 라인을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 차선 추정 장치에서 카메라부를 이용하여 검출한 차선과 레이더부를 이용하여 감지한 정지 물체들을 이용한 가상 차선을 설명하기 위한 도면이다.
도 3을 참조하면, 카메라 검출 차선은 차선 검출부(21)에 의해 검출된 차선이고, 가상 차선은 가상 차선 생성부(22)에 의해 생성된 가상 차선이다.
차선 영역(30,40)은 차량과 도로 옆의 복수의 정지 물체 간의 거리를 기준으로 근거리 영역과 원거리 영역으로 구분된다.
근거리 영역(30)에 대해서는 카메라 검출 차선은 실제 차선과 거의 동일하고, 가상 차선과도 차이가 크지 않다.
하지만, 원거리 영역(40)에 대해서는 카메라 검출 차선은 실제 차선과 큰 차이가 있고, 오히려 가상 차선은 카메라 검출 차선과 실제 차선간의 차이보다 적은 차이가 발생한다.
이것은 가상 차선이 상대적으로 원거리에 대해서는 감지속도 및 감지성능이 우수한 레이더부(11)를 이용하여 감지한 정지 물체들을 이용하여 생성되기 때문이다.
하지만, 이 가상 차선은 단순히 도로 옆의 정지 물체들을 잇는 선에 불과하므로, 차량이 주행 차선을 추정하는 데 사용할 유효한 값으로 판단하기 위해서는 가상 차선이 유효한지를 검증할 필요가 있다.
다시 도 1을 참조하면, 가상 차선 유효성 판단부(23)는 차량과 복수의 정지 물체 간의 거리를 기준으로 근거리 영역(30) 또는/및 원거리 영역(40)으로 구분된 차선영역 중에서 적어도 하나의 영역, 예를 들면, 근거리 영역(30)에 대하여 검출된 차선과 생성된 가상 차선의 유사성을 비교하고, 비교결과에 따라 생성된 가상 차선이 유효한지를 판단한다.
예를 들면, 가상 차선 유효성 판단부(23)는 근거리 영역(30)에 대해서는 검출된 차선과 생성된 가상 차선의 유사성을 이용하여 가상 차선이 검출된 차선과 차선 형태가 비슷하다면 가상차선을 유효한 것으로 판단한다. 이때, 차선들과의 유사성은 횡방향 거리의 오차로 판단할 수 있다. 횡방향 거리의 오차가 기준오차보다 크면 두 차선이 유사하지 않는 것으로 판단할 수 있고, 횡방향 거리의 오차가 기준오차보다 작으면 두 차선이 유사한 것으로 판단할 수 있다.
최종 차선 생성부(24)는 가상 차선 유효성 판단부(23)에서의 판단결과 가상 차선이 유효하면, 근거리 영역(30)에 대해서는 검출된 차선을, 원거리 영역(40)에 대해서는 가상 차선을 선택하고, 선택된 차선들을 결합하여 최종 차선을 생성한다.
보다 자세하게는, 최종 차선 생성부(24)는 근거리 영역에서 가상 차선이 검출된 차선과 유사하여 가상 차선이 유효한 것으로 판단되면, 원거리 영역(40)에 대하여 검출된 차선과 가상 차선의 횡방향 차이가 미리 설정된 범위인지를 판단한다. 만약, 최종 차선 생성부(24)는 원거리 영역(40)에서 검출된 차선과 가상 차선의 횡방향 차이가 미리 설정된 범위이내이면, 근거리 영역(30)에 대해서는 검출된 차선을, 원거리 영역(40)에 대해서는 가상 차선을 선택하고, 선택된 차선들을 결합하여 최종 차선을 생성한다.
도 4는 본 발명의 실시예에 따른 차선 추정 장치에서 카메라부를 이용하여 검출한 차선과 레이더부를 통해 감지한 정지 물체를 이용하여 생성한 가상 차선을 결합하여 새롭게 생성한 최종 차선을 설명하기 위한 도면이다.
도 4를 참조하면, 최종 차선은 근거리 영역(30)에 대해서는 검출된 차선을, 원거리 영역(40)에 대해서는 가상 차선을 결합된 차선이다.
다시 도 1을 참조하면, 차선 인식부(25)는 최종 차선 생성부(24)에 의해 생성된 차선을 주행 차선으로 인식한다.
이후 인식된 주행 차선을 기준으로 차량 유지 제어를 수행한다.
도 5는 본 발명의 실시예에 따른 차선 추정 방법에 대한 제어흐름도이다.
도 5를 참조하면, 먼저, 차선 추정부(20)는 카메라부(10)을 통해 차량 전방 영상을 촬영한다(100).
차량 전방 영상을 촬영한 후 차선 추정부(20)는 카메라부(10)를 통해 촬영된 차량 전방 영상을 분석하여 차선을 검출한다(110).
차선을 검출한 후 차선 추정부(20)는 레이더부(11)를 통해 차량 전방의 도로 옆의 복수의 정지 물체를 감지한다(120). 이때, 차선 추정부(20)는 카메라부(10)을 통해 촬영된 차량 전방 영상과 레이더부(11)를 통해 감지된 차량 전방의 정지 물체들 정보를 종합하여 도로 옆의 복수의 정지 물체를 감지할 수 있다.
복수의 정지 물체를 감지한 후 차선 추정부(20)는 감지된 복수의 정지 물체를잇는 선을 기준으로 가상 차선을 생성한다(130).
가상 차선을 생성한 후 차선 추정부(20)는 작동모드 110에서 검출된 검출 차선과 작동모드 130에서 생성된 가상 차선의 유사성을 비교한다(140). 이때, 차선 추정부(20)는 검출 차선과 가상 차선의 횡방향 거리를 비교한다.
작동모드 140의 비교결과를 이용하여 근거리 영역(30)에서 검출 차선과 가상 차선이 유사한지를 판단한다. 이때, 차선 추정부(20)는 검출 차선과 가상 차선의 횡방향 거리 오차가 기준오차보다 작으면 두 차선이 유사한 것으로 판단한다(150).
만약, 작동모드 150의 판단결과 근거리 영역에서 검출 차선과 가상 차선이 유사한 것으로 판단되면, 가상 차선이 유효한 것으로 판단하여, 차선 추정부(20)는 원거리 영역(40)에서 검출 차선과 가상 차선의 차이(예를 들면, 횡방향 거리 오차)를 산출하고(160), 산출된 차이가 미리 설정된 범위 이내인지를 판단한다(170).
작동모드 170의 판단결과 원거리 영역(40)에서 검출 차선과 가상 차선의 차이가 미리 설정된 범위 이내이면, 차선 추정부(20)는 근거리 영역(30)에 대해서는 검출된 차선을, 원거리 영역(40)에 대해서는 가상 차선을 선택하고, 선택된 차선들을 결합하여 최종 차선을 생성한다(180).
그런 후 차선 추정부(20)는 작동모드 180에서 생성된 최종 차선을 주행 차선으로 인식한다(190).
이후 인식된 주행 차선을 기준으로 차선 일탈 방지 제어 등의 차선 유지 제어를 수행한다.
10 : 카메라부 11 : 레이더부
20 : 차선 추정부 21 : 차선 검출부
22 : 가상 차선 생성부 23 : 가상 차선 유효성 판단부
24 : 최종 차선 생성부 25 : 차선 인식부
30 : 근거리 영역 40 : 원거리 영역

Claims (9)

  1. 차량 전방 영상을 촬영하는 카메라부;
    차량 전방의 복수의 정지 물체를 감지하는 레이더부; 및
    상기 카메라부를 통해 촬영된 영상에서 차선을 검출하고, 상기 레이더부를 통해 감지된 정지 물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하고, 상기 검출된 차선과 상기 생성된 가상 차선 간의 거리를 근거로 상기 생성된 가상 차선이 유효한지를 판단하고, 상기 판단결과 상기 생성된 가상 차선이 유효하면 상기 검출된 차선과 상기 생성된 가상 차선을 근거로 최종 차선을 생성하고, 상기 생성된 최종 차선을 차량의 주행 차선으로 인식하는 차선 추정부를 포함하는 차선 추정 장치.
  2. 제1항에 있어서,
    상기 차선 추정부는,
    상기 카메라부를 통해 촬영된 영상에서 차선을 검출하는 차선 검출부;
    상기 레이더부를 통해 감지된 정지 물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하는 가상 차선 생성부;
    상기 차량과 상기 복수의 정지 물체 간의 거리를 기준으로 근거리 영역과 원거리 영역으로 구분된 차선영역들 중 적어도 하나의 영역에 대하여 상기 검출된 차선과 상기 생성된 가상 차선의 유사성을 비교하고, 비교결과에 따라 상기 생성된 가상 차선이 유효한지를 판단하는 가상 차선 유효성 판단부;
    상기 판단결과 상기 생성된 가상 차선이 유효하면 상기 검출된 차선과 상기 생성된 가상 차선을 근거로 최종 차선을 생성하는 최종 차선 생성부; 및
    상기 생성된 최종 차선을 차량의 주행 차선으로 인식하는 차선 인식부를 포함하는 차선 추정 장치.
  3. 삭제
  4. 제2항에 있어서,
    상기 가상 차선 유효성 판단부는 상기 근거리 영역에서의 상기 두 차선들의 횡방향 거리 오차가 기준오차보다 작으면, 상기 생성된 가상 차선이 유효한 것으로 판단하는 차선 추정 장치.
  5. 제2항 또는 제4항에 있어서,
    상기 최종 차선 생성부는 상기 근거리 영역에서 상기 생성된 가상 차선이 유효하면, 상기 원거리 영역에서 상기 검출된 차선과 상기 생성된 가상 차선의 횡방향 거리 오차를 산출하고, 상기 산출된 오차가 미리 설정된 범위 이내이면, 상기 최종 차선을 생성하는 차선 추정 장치.
  6. 제2항에 있어서,
    상기 최종 차선 생성부는 상기 근거리 영역에 대해서는 상기 검출된 차선을, 상기 원거리 영역에 대해서는 상기 생성된 가상 차선을 선택하고, 상기 선택된 차선들을 결합하여 최종 차선을 생성하는 차선 추정 장치.
  7. 차량 전방 영상을 촬영하는 카메라부에 의해 촬영된 영상에서 차선을 검출하고,
    상기 차량 전방의 복수의 정지 물체를 감지하는 레이더부에 의해 감지된 정지물체들 중에서 도로 옆의 복수의 정지 물체를 잇는 가상 차선을 생성하고,
    상기 검출된 차선과 상기 생성된 가상 차선 간의 거리를 근거로 상기 생성된 가상 차선이 유효한지를 판단하고,
    상기 판단결과 상기 생성된 가상 차선이 유효하면 상기 검출된 차선과 상기 생성된 가상 차선을 근거로 최종 차선을 생성하고,
    상기 생성된 최종 차선을 차량의 주행 차선으로 인식하는 것을 포함하는 차선 추정 방법.
  8. 제7항에 있어서,
    상기 차량과 상기 복수의 정지 물체 간의 거리를 기준으로 근거리 영역과 원거리 영역으로 구분된 차선영역들 중 상기 근거리 영역에서의 상기 두 차선들의 횡방향 거리 오차가 기준오차보다 작고, 상기 원거리 영역에서의 상기 두 차선들의 횡방향 거리 오차가 미리 설정된 범위 이내이면, 상기 생성된 가상 차선이 유효한 것으로 판단하는 차선 추정 방법.
  9. 제8항에 있어서,
    상기 근거리 영역에 대해서는 상기 검출된 차선을, 상기 원거리 영역에 대해서는 상기 생성된 가상 차선을 선택하고, 상기 선택된 차선들을 결합하여 상기 최종 차선을 생성하는 차선 추정 방법.
KR1020130039681A 2013-04-11 2013-04-11 차선 추정 장치 및 그 방법 KR101787996B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130039681A KR101787996B1 (ko) 2013-04-11 2013-04-11 차선 추정 장치 및 그 방법
US14/251,042 US9664787B2 (en) 2013-04-11 2014-04-11 Lane estimation apparatus and method
DE102014005688.0A DE102014005688B4 (de) 2013-04-11 2014-04-11 Spurenschätzvorrichtung und verfahren
CN201410208141.2A CN104108392B (zh) 2013-04-11 2014-04-11 车道估计装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130039681A KR101787996B1 (ko) 2013-04-11 2013-04-11 차선 추정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140122810A KR20140122810A (ko) 2014-10-21
KR101787996B1 true KR101787996B1 (ko) 2017-10-19

Family

ID=51618506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130039681A KR101787996B1 (ko) 2013-04-11 2013-04-11 차선 추정 장치 및 그 방법

Country Status (4)

Country Link
US (1) US9664787B2 (ko)
KR (1) KR101787996B1 (ko)
CN (1) CN104108392B (ko)
DE (1) DE102014005688B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11318937B2 (en) 2019-01-24 2022-05-03 Mando Mobility Solutions Corporation Driver assistance apparatus and method thereof

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502510B1 (ko) * 2013-11-26 2015-03-13 현대모비스 주식회사 차량의 차선 유지 제어 장치 및 방법
KR101558786B1 (ko) 2014-06-30 2015-10-07 현대자동차주식회사 차량의 주행차로 인식장치 및 방법
US20160210775A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual sensor testbed
JP6456761B2 (ja) * 2015-04-21 2019-01-23 本田技研工業株式会社 道路環境認識装置、車両制御装置及び車両制御方法
CN107924625B (zh) * 2015-08-19 2021-11-12 三菱电机株式会社 车道识别装置以及车道识别方法
KR102420409B1 (ko) * 2015-09-03 2022-07-14 주식회사 에이치엘클레무브 차선 이탈 판단 방법 및 그 장치
US20170160744A1 (en) * 2015-12-08 2017-06-08 Delphi Technologies, Inc. Lane Extension Of Lane-Keeping System By Ranging-Sensor For Automated Vehicle
KR102456626B1 (ko) * 2016-01-15 2022-10-18 현대자동차주식회사 자율 주행 차량의 차선 인지 방법 및 장치
CN105667518B (zh) * 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置
EP3236212B1 (en) * 2016-04-22 2023-01-25 Volvo Car Corporation Method for generating navigation data and a navigation device for performing the method
US20180067496A1 (en) * 2016-09-06 2018-03-08 Delphi Technologies, Inc. Automated vehicle lane change control system
KR20180051836A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 주행 차량을 위한 가상의 주행 차선을 생성하는 방법 및 장치
KR102568114B1 (ko) * 2016-11-30 2023-08-18 현대오토에버 주식회사 자율 주행 제어 장치 및 방법
KR20180090610A (ko) 2017-02-03 2018-08-13 삼성전자주식회사 차선 정보를 출력하는 방법 및 장치.
CN106991389B (zh) * 2017-03-29 2021-04-27 蔚来(安徽)控股有限公司 确定道路边沿的装置和方法
JP6609292B2 (ja) * 2017-08-24 2019-11-20 株式会社Ｓｕｂａｒｕ 車外環境認識装置
KR102521656B1 (ko) 2018-01-03 2023-04-13 삼성전자주식회사 객체를 인식하는 방법 및 장치
CN112189225B (zh) * 2018-06-26 2023-03-10 Sk电信有限公司 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
KR102448164B1 (ko) * 2018-07-20 2022-09-28 현대모비스 주식회사 차량용 레이더 제어 장치 및 방법
US11520345B2 (en) * 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
EP3726184A1 (fr) * 2019-04-16 2020-10-21 PSA Automobiles SA Procédé et dispositif de détermination de la courbe d'une route
US11421996B2 (en) 2020-01-24 2022-08-23 Here Global B.V. Method, apparatus, and system for comparing and assimilating road lane representations using geospatial data and attribute data
US11679768B2 (en) 2020-10-19 2023-06-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for vehicle lane estimation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010032063A1 (de) * 2010-06-09 2011-05-12 Daimler Ag Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
JP2011233151A (ja) * 2011-05-30 2011-11-17 Toyota Motor Corp 運転支援装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3413745B2 (ja) * 1995-12-18 2003-06-09 株式会社日立製作所 画像処理による走行路面の監視装置
KR19990084339A (ko) 1998-05-04 1999-12-06 오상수 차선 물체 인식 판별방법
US7085638B2 (en) * 2004-07-13 2006-08-01 Robert Bosch Gmbh Steering angle sensor assembly including reduction gear and logic module
DE102006040334A1 (de) * 2006-08-29 2008-03-06 Robert Bosch Gmbh Verfahren für die Spurerfassung mit einem Fahrerassistenzsystem und Fahrerassistenzsystem
JP4759547B2 (ja) * 2007-09-27 2011-08-31 日立オートモティブシステムズ株式会社 走行支援装置
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
US8830141B2 (en) * 2009-04-02 2014-09-09 GM Global Technology Operations LLC Full-windshield head-up display enhancement: anti-reflective glass hard coat
KR101070050B1 (ko) * 2009-12-11 2011-10-04 삼성전기주식회사 복합 기능 카메라 모듈
JP5080602B2 (ja) * 2010-03-19 2012-11-21 日立オートモティブシステムズ株式会社 車両制御装置
CN102275558B (zh) * 2010-06-12 2013-01-23 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
JP5389002B2 (ja) * 2010-12-07 2014-01-15 日立オートモティブシステムズ株式会社 走行環境認識装置
KR20130011825A (ko) 2011-07-22 2013-01-30 현대자동차주식회사 차선인식 방법
JP2013083612A (ja) 2011-10-12 2013-05-09 Mitsumi Electric Co Ltd 電池状態計測方法及び電池状態計測装置
JP5757900B2 (ja) * 2012-03-07 2015-08-05 日立オートモティブシステムズ株式会社 車両走行制御装置
JP5711721B2 (ja) 2012-12-03 2015-05-07 富士重工業株式会社 車両の運転支援制御装置
US9403436B1 (en) * 2015-02-12 2016-08-02 Honda Motor Co., Ltd. Lane keep assist system having augmented reality indicators and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010032063A1 (de) * 2010-06-09 2011-05-12 Daimler Ag Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
JP2011233151A (ja) * 2011-05-30 2011-11-17 Toyota Motor Corp 運転支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11318937B2 (en) 2019-01-24 2022-05-03 Mando Mobility Solutions Corporation Driver assistance apparatus and method thereof

Also Published As

Publication number Publication date
DE102014005688B4 (de) 2020-08-06
US9664787B2 (en) 2017-05-30
CN104108392B (zh) 2017-04-19
US20140306844A1 (en) 2014-10-16
KR20140122810A (ko) 2014-10-21
DE102014005688A1 (de) 2014-10-16
CN104108392A (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
KR101787996B1 (ko) 차선 추정 장치 및 그 방법
EP3208635B1 (en) Vision algorithm performance using low level sensor fusion
CN108028023B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
US11014566B2 (en) Object detection apparatus
US9623869B2 (en) Vehicle driving support control apparatus
US10279809B2 (en) Travelled-route selecting apparatus and method
US9223311B2 (en) Vehicle driving support control apparatus
JP6361366B2 (ja) 物体認識装置
JP3671825B2 (ja) 車間距離推定装置
US10576967B2 (en) Parking assistance device and parking assistance method
US10650252B2 (en) Lane detection device and lane detection method
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
US11119210B2 (en) Vehicle control device and vehicle control method
KR101961571B1 (ko) 복수의 물체 검출 수단을 사용한 물체 인식 장치
KR20190060341A (ko) 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법
JP6302519B2 (ja) 車両の運転支援装置
KR20160013736A (ko) 자동차의 통합센서 시스템
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
JP2013161190A (ja) 物体認識装置
KR102529555B1 (ko) 자율 긴급 제동 시스템 및 이의 구동 방법
KR101704635B1 (ko) 레이더 및 영상 래스터 데이터를 이용한 목표물 탐지 방법 및 장치
JP2005127781A (ja) 車両用測距性能低下検出装置
JP2007240316A (ja) 車載測距装置
KR102203947B1 (ko) 차선 유지 보조 시스템 및 그의 차선 유지 제어 방법
US9430707B2 (en) Filtering device and environment recognition system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right