KR101056285B1 - 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템 - Google Patents

차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템 Download PDF

Info

Publication number
KR101056285B1
KR101056285B1 KR1020100107692A KR20100107692A KR101056285B1 KR 101056285 B1 KR101056285 B1 KR 101056285B1 KR 1020100107692 A KR1020100107692 A KR 1020100107692A KR 20100107692 A KR20100107692 A KR 20100107692A KR 101056285 B1 KR101056285 B1 KR 101056285B1
Authority
KR
South Korea
Prior art keywords
lane
camera
vehicle
parallel
departure warning
Prior art date
Application number
KR1020100107692A
Other languages
English (en)
Inventor
신성효
Original Assignee
(주)베라시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)베라시스 filed Critical (주)베라시스
Priority to KR1020100107692A priority Critical patent/KR101056285B1/ko
Application granted granted Critical
Publication of KR101056285B1 publication Critical patent/KR101056285B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템에 관한 것이다.
본 발명의 목적에 의하면, 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법에 있어서, (a) 상기 카메라의 초기 각도값을 설정하는 단계; (b) 상기 카메라로 입력되는 영상에서 영상 좌표 상의 영상 차선을 추출하는 단계; (c) 상기 영상 차선을 월드 좌표(World Coordinate) 상의 월드 차선으로 변환하는 단계; (d) 상기 월드 차선의 양쪽 선이 서로 평행한지 여부를 판단하는 평행 판단 단계; 및 (e) 상기 단계 (d)에서 상기 평행 판단 단계의 판단 결과, 상기 양쪽 선이 서로 평행하다고 판단되면, 상기 양쪽 선의 너비를 상기 차량의 너비로 간주하고, 상기 양쪽 선을 차선 이탈 경보 시점의 기준선으로 설정하는 단계를 포함하되, 상기 단계 (d)에서 상기 평행 판단 단계의 판단 결과, 상기 양쪽 선이 서로 평행하지 않다고 판단되면, 상기 카메라의 각도값을 변경한 후, 상기 단계 (b) 내지 단계 (d)를 상기 양쪽 선이 서로 평행하다고 판단되어 상기 단계 (e)에서 상기 차선 이탈 경보 시점을 설정할 수 있을 때까지 반복하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법을 제공한다.

Description

차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템 {Method and System for Self-Calibration and Setting Land Departure Warning Point}
본 발명은 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템에 관한 것으로, 더욱 상세하게는 컴퓨터 비젼(Computer Vision)을 이용한 안전 자동차(Safety Vehicle) 시스템에서 사용되는 카메라의 위치 및 각도를 영상 좌표계와 월드 좌표계의 평행 여부를 이용하여 자동으로 보정하고, 이러한 컴퓨터 비젼을 이용한 기술 중 차선 이탈 경보 시스템(LDWS: Lane Departure Warning System)에서 차량의 차선 이탈 경보 시점을 차량 앞에 설치한 표식을 기준으로 간편하게 세팅할 수 있도록 하여, 신뢰성이 제고된 차선 이탈 인식 방법을 제공하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템에 관한 것이다.
종래의 차선 이탈 경보 시스템은 지정된 차량에만 적용 가능한 시스템과 차종에 상관없이 적용 가능한 시스템으로 구분될 수 있다. 지정된 차량에만 적용 가능한 시스템은, 이미 적용할 차량이 정해져 있어 자동차 생산시 생산자가 설치하게 되는 경우로서, 자동차 생산 회사에서 주로 사용하는 것이다. 이 시스템에서는 이미 설치 방법 및 설치 지그 등이 갖추어져 있다. 따라서, 카메라는 동일한 위치에 동일한 각도를 가지고 차량에 설치된다. 그리고 차종이 정해져 있으므로 차량의 넓이 역시 고정되어 있는 상태이다. 즉, 카메라가 설치되는 높이, 카메라의 시야 각도, 차량의 넓이가 이미 고정되어 있기 때문에 별도의 카메라 보정을 필요치 않게 된다.
반면, 차종에 상관없이 적용되는 범용 시스템의 경우에는 주로 사용자가 카메라를 설치하게 되는 경우로서, 설치할 때마다 카메라의 위치 및 설치 각도가 상이하게 된다. 따라서, 이 경우에는 별도의 기준을 가지고 자율 보정(Self-Calibration)이 되도록 해야 한다. 즉 차선 이탈 경보 시스템을 사용자가 장착하는 경우에는 차량의 종류에 따라서, 장착되는 카메라의 높이 및 각도가 달라지게 되므로, 이를 정확히 사용자가 정의하는 것은 불가능하며, 시스템이 이를 자동으로 판단하는 방법론이 필요하다.
가장 일반적으로 사용되는 자율 보정 기법은 실제 주행시 카메라로부터 입력되는 영상에서 차선 정보를 추출하여, 그 차선이 평행이 되는 시점의 카메라의 각도를 구함으로써 보정을 하게 되는 것이다. 그런데 이 경우 경보 시점은 차량마다 상이하게 되므로, 사용자가 별도의 조작으로 경보 시점을 조절해야만 한다는 불편함이 있다. 즉, 차량의 중앙에 위치한 카메라가 차량이 차선을 이탈하는 시점에 대한 판단은 차량의 넓이에 좌우되므로, 차종에 따라 달리해야 하는 것이다.
기존 시스템에서의 경보 시점은 사용자가 자기 차량에 맞도록 수동으로 조절-즉, 운전자가 실제로 차선을 밟았다고 느끼는 시점과 시스템이 경보를 내리는 시점을 비교하여 이것이 서로 일치하게끔 시스템의 경보 시점을 수동으로 조절하도록 되어 있는데, 이는 실제 주행 중에 실제 이탈 시점 및 시스템 경보 시점을 비교하여 이탈 경보를 확인하면서 조절해야 하는 것이기 때문에 오히려 사고를 유발할 수 있는 위험성이 존재한다는 문제점이 있다.
상기한 문제점을 해결하기 위해 본 발명은, 컴퓨터 비젼을 이용한 안전 자동차 시스템에서 사용되는 카메라의 위치 및 각도를 영상 좌표계와 월드 좌표계의 평행 여부를 이용하여 자동으로 보정하고, 이러한 컴퓨터 비젼을 이용한 기술 중 차선 이탈 경보 시스템에서 차량의 차선 이탈 경보 시점을 차량 앞에 설치한 표식을 기준으로 간편하게 세팅할 수 있도록 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적에 의하면, 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법에 있어서, (a) 상기 카메라의 초기 각도값을 설정하는 단계; (b) 상기 카메라로 입력되는 영상에서 영상 좌표 상의 영상 차선을 추출하는 단계; (c) 상기 영상 차선을 월드 좌표(World Coordinate) 상의 월드 차선으로 변환하는 단계; (d) 상기 월드 차선의 양쪽 선이 서로 평행한지 여부를 판단하는 평행 판단 단계; 및 (e) 상기 단계 (d)에서 상기 평행 판단 단계의 판단 결과, 상기 양쪽 선이 서로 평행하다고 판단되면, 상기 양쪽 선의 너비를 상기 차량의 너비로 간주하고, 상기 양쪽 선을 차선 이탈 경보 시점의 기준선으로 설정하는 단계를 포함하되, 상기 단계 (d)에서 상기 평행 판단 단계의 판단 결과, 상기 양쪽 선이 서로 평행하지 않다고 판단되면, 상기 카메라의 각도값을 변경한 후, 상기 단계 (b) 내지 단계 (d)를 상기 양쪽 선이 서로 평행하다고 판단되어 상기 단계 (e)에서 상기 차선 이탈 경보 시점을 설정할 수 있을 때까지 반복하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법을 제공한다.
또한, 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템에 있어서, 상기 카메라로 입력되는 영상에서 영상 좌표 상의 영상 차선을 추출하는 차선 검출부; 상기 차선 검출부에서 검출된 상기 영상 차선을 월드 좌표(World Coordinate) 상의 월드 차선으로 변환하는 좌표 변환부; 상기 좌표 변환부에서 변환된 상기 월드 차선의 양쪽 선이 서로 평행한지 여부를 판단하는 평행 판단부; 및 상기 평행 판단부의 판단 결과, 상기 양쪽 선이 서로 평행하다고 판단되면, 상기 양쪽 선의 너비를 상기 차량의 너비로 간주하고, 상기 양쪽 선을 차선 이탈 경보 시점의 기준선으로 설정하는 차폭 결정부를 포함하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템을 제공한다.
본 발명에 의하면, 컴퓨터 비젼을 이용한 안전 자동차 시스템에서 사용되는 카메라의 위치 및 각도를 자동으로 보정하고, 차선 이탈 경보 시스템에서 차량의 차선 이탈 경보 시점을 차량 앞에 설치한 표식을 기준으로 차폭의 계산을 통해 간편하게 세팅할 수 있도록 하여, 안전 운전에 방해를 주지 않으면서 정확성/신뢰성이 제고된 차선 이탈 인식 방법을 제공한다는 효과가 있다.
도 1은 카메라 캘리브이션의 개념도,
도 2a는 승용차에서 카메라가 정중앙에 설치될 경우, 도 2b는 승용차에서 카메라가 좌측에 치우쳐 설치될 경우, 도 2c는 트럭에서 카메라가 정중앙에 설치될 경우를 나타낸 개념도,
도 3은 본 발명의 바람직한 실시예에 따른 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템을 나타낸 블록도,
도 4는 차선 표식 설치 방법을 나타낸 도면,
도 5는 영상 좌표계와 월드 좌표계의 변환을 나타낸 도면,
도 6은 본 발명의 바람직한 실시예에 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 과정을 나타낸 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
차선 이탈 경보 시스템에서는 크게 두 종류의 환경을 정확하게 설정해야 시스템의 정확도를 높일 수 있다.
첫째는 카메라가 장착된 환경을 자동으로 감지할 수 있는 카메라 캘리브레이션(보정)이며, 둘째는 차량이 바퀴가 차선을 밟게 되는 시점(차선 이탈되는 시점)을 정의하는 이탈 경보 시점 조절이다.
(1) 카메라 캘리브레이션
차선 이탈 경보에서 시스템이 정상적으로 동작하기 위해서는 우선 카메라가 장착되어 있는 위치 및 시야각 등의 특성을 파악하는 것이 중요하며, 이 과정을 카메라 캘리브레이션이라 한다. 도 1은 이러한 카메라 캘리브이션의 개념도이다.
전방 카메라로부터 입력된 영상에서 도로면과 전방 차선의 위치는 카메라의 장착 높이, 카메라의 각도, 카메라의 렌즈 및 센서의 특성에 의해서 결정된다. 보통의 시스템에서는 카메라의 렌즈 및 센서의 특성은 이미 제작자에 의해서 결정되므로, 적절한 상수를 입력하면 된다. 카메라 캘리브레이션 과정은 크게 카메라의 높이와 각도를 정하는 것인데, 본 발명의 바람직한 실시예에서 카메라 높이는 사용자가 결정하는 것으로 한다. 승용차의 경우 차종에 따라서 조금씩의 차이는 있지만 거의 유사한 높이를 가진다는 것을 감안하여, 승용차/승합차/버스/트럭 등의 차종 결정으로 유사한 높이를 설정한다. 그리고 차선 이탈 경보시스템에서 카메라의 높이는 시스템의 작용에 크게 영향을 미치지 않으므로 차종에 따른 높이 설정이 바람직하다. 반대로 카메라의 각도 지정은 시스템의 성능에 큰 영향을 미치는 것으로서 정확한 각도 측정이 필요한데, 본 발명의 바람직한 실시예에서 이 방법을 제공한다.
(2) 차선 이탈 경보 시점 조절
특정한 차량에만 동작할 수 있는 차선이탈 경보 시스템이 아니라, 본 발명의 바람직한 실시예와 같이 다양한 차종에 적용될 수 있는 차선 이탈 경보 시스템을 구현하기 위해서는 차선 이탈 경보 시점을 사용자의 차종에 맞도록 조정할 필요가 있다.
차선 이탈 경보 시스템에서 차선 이탈 판단은 카메라로부터 실제 차선간의 거리를 토대로 판단한다. 카메라가 차량의 정중앙에 있는 경우에는 양쪽 차선 이탈 경보는 좌/우 동일한 시점이지만, 만약 카메라가 좌 또는 우측으로 치우쳐서 위치해 있는다면 좌/우의 경보는 서도 다른 시점이 되어야만 한다. 그리고 소형차는 차량의 너비가 좁고, 트럭/버스는 차량의 너비가 넓기 때문에 정중앙에 카메라를 위치시킨다 하더라도, 소형차에서의 좌/우 경보 시점과 버스에서의 경보 시점은 서로 다르게 되어야 한다. 즉, 설치되는 차량 및 카메라의 위치에 따라 차선 이탈 경보 시점은 다르게 되어야 하는 것이다.
도 2a는 승용차에서 카메라가 정중앙에 설치될 경우, 도 2b는 승용차에서 카메라가 좌측에 치우쳐 설치될 경우, 도 2c는 트럭에서 카메라가 정중앙에 설치될 경우를 나타낸 개념도이다.
도 2a 및 도 2c를 참조하면, 카메라에서 바라보는 이탈 시점은 승용차와 트럭이 서로 동일하다(③, ④). 그러나 실제 차량의 이탈 시점은 승용차와 트럭의 차폭이 다르기 때문에 승용차(①, ②)와 트럭(①-1, ②-2)이 서로 상이하다.
또한, 도 2b 및 도 2c를 참조하면, 같은 승용차라고 할지라도 카메라가 정중앙에 위치한 경우와 좌측으로 치우쳐진 경우는 실제 차량 이탈 시점(①, ②)은 동일하지만, 카메라가 바라보는 이탈 시점(정중앙: ③, ④, 좌측: ③-1, ④-1)은 다르게 된다.
이하에서는 상기 (1) 카메라 캘리브레이션과 (2) 차선 이탈 경보 시점 조절을 자동으로 수행하는 본 발명의 바람직한 실시예에 따른 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템을 설명하기로 한다.
도 3은 본 발명의 바람직한 실시예에 따른 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템을 나타낸 블록도이다.
본 발명의 바람직한 실시예에 따른 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템은 차량 카메라(200), 차선 검출부(300), 좌표 변환부(310), 평행 판단부(320), 차폭 결정부(330) 및 차선 이탈 경보부(340) 등을 포함할 수 있다.
차선 검출부(300)는 차량 카메라(200)로 입력되는 영상에서 영상 좌표 상의 영상 차선을 추출한다. 이때, 카메라(200)로 입력되는 영상에서 상기 영상 차선은 차량의 앞바퀴 앞에 평행하게 설치된 차선 모양의 표식이다. 도 4는 이를 위한 차선 표식 설치 방법을 나타낸 도면이다.
도 4를 참조하면, 카메라(200)를 설치한 후 차선 모양의 표식을 차량의 앞바퀴 앞에 평행하게 설치한다. 한 예로 두루마리 화장지 등을 이용할 수 있다.
본 발명의 바람직한 실시예에 따른 좌표 변환부(310)는 차선 검출부(300)에서 검출한 영상 차선을 월드 좌표(World Coordinate) 상의 월드 차선으로 변환한다.
카메라(200)로부터 입력되는 영상은 도 5와 같은 형태의 모양을 갖게 된다. 그림 5의 좌측 도면에서와 같이 차선은 "/" 형태의 사선으로 입력된다. 이 형태의 영상을 영상 좌표계에서의 영상 차선이라고 하며, 이를 월드 좌표계로 변환하여야 하는데 이 변환을 정확하게 하기 위해서는 카메라 캘리브레이션이 제대로 되어야 하는 것인데 이에 대한 판단은 후술하는 평행 판단부(320)에서 수행한다.
본 발명의 바람직한 실시예에 따른 평행 판단부(320)는 좌표 변환부(310)에서 변환된 월드 차선의 양쪽 선이 서로 평행한지 여부를 판단한다.
전술한 바와 같이 도 5에서 좌측 도면은 영상 좌표계에서의 차선의 예이며, 우측 도면은 좌측 영상을 월드 좌표계로 변환하였을 때의 예이다. ①은 양쪽 선이 서로 평행한 경우, 즉 캘리브레이션이 제대로 수행되었을 때의 예이며, ②와 ③은 비정상적으로 캘리브레이션이 되었을 때의 예이다.
본 발명의 바람직한 실시예에 따른 차폭 결정부(330)는 평행 판단부(320)의 판단 결과, 상기 양쪽 선이 서로 평행하다고 판단되면, 상기 양쪽 선의 너비를 차량의 너비로 간주하고, 상기 양쪽 선을 차선 이탈 경보 시점의 기준선으로 설정한다. 한편, 평행 판단부(320)의 판단 결과, 상기 양쪽 선이 서로 평행하지 않다고 판단되면, 카메라(200)의 각도값을 변경하여 차선 검출부(300)서 새로운 영상 차선을 추출하도록 한다. 이때, 변경된 카메라(200)의 각도값이 기설정된 값을 초과하는 경우, 자율보정 및 차선 이탈 경보 시점 설정 실패로 간주하고 종료하도록 한다. 이러한 기설정된 값은 사용자가 임의로 설정할 수 있다.
본 발명의 바람직한 실시예에 따른 차선 이탈 경보부(340)는 차량이 차폭 결정부(330)에서 설정된 기준선인 상기 양쪽 선을 기준으로 좌우로 치우친 정도가 기설정된 범위를 벗어나면 자동으로 차선 이탈 경보를 발한다.
도 6은 본 발명의 바람직한 실시예에 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 과정을 나타낸 순서도이다.
카메라(200)의 각도를 정하기 위하여, 우선 이상적인 초기값을 설정한다(S600). 검색하는 카메라 각도의 범위는 시스템에서 미리 지정하도록 한다.
카메라(200)로 입력되는 영상에서 영상 좌표 상의 영상 차선을 추출한다(S610). 이때, 차선을 추출하는 방법은 차선으로 간주되는 하얀 선을 검출하기만 하면 어떤 방법이라도 좋다.
다음으로, 단계 S610에서 검출된 영상 차선을 월드 좌표(World Coordinate) 상의 월드 차선으로 변환한다(S620).
단계 S620에서 변환된 월드 차선의 양쪽 선이 서로 평행한지 여부를 판단하여(S630). 평행하게 되면 카메라 각도가 정상적으로 설정되었다고 판단한다(S640). 이 경우, 상기 양쪽 선의 너비를 차량의 너비로 간주하고, 상기 양쪽 선을 차선 이탈 경보 시점의 기준선으로 설정한다(S650).
한편, S630의 판단 결과 평행하지 않으면 카메라(200)의 각도값을 정해진 각도 범위 내에서 다른 각도로 설정하며(S660), 검출된 차선에 대해서 다시 월드 좌표계로 변환한다. 단계 S620 및 S630을 카메라 각도가 정상적으로 설정될 때까지 반복하며, 정해진 각도 내에서 찾지 못할 경우(S670: N), 캘리브레이션 실패 및 차선 이탈 경보 시점 설정 실패로 간주하고 종료한다(S680).
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 사상과 범위가 한정되는 것은 아니다. 본 발명의 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 카메라 300: 차선 검출부
310: 좌표 변환부 320: 평행 판단부
330: 차폭 결정부 340: 차선 이탈 경보부

Claims (11)

  1. 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법에 있어서,
    (a) 상기 카메라의 초기 각도값을 설정하는 단계;
    (b) 상기 카메라로 입력되는 영상에서 영상 좌표 상의 영상 차선을 추출하는 단계;
    (c) 상기 영상 차선을 월드 좌표(World Coordinate) 상의 월드 차선으로 변환하는 단계;
    (d) 상기 월드 차선의 양쪽 선이 서로 평행한지 여부를 판단하는 평행 판단 단계; 및
    (e) 상기 단계 (d)에서 상기 평행 판단 단계의 판단 결과, 상기 양쪽 선이 서로 평행하다고 판단되면, 상기 양쪽 선의 너비를 상기 차량의 너비로 간주하고, 상기 양쪽 선을 차선 이탈 경보 시점의 기준선으로 설정하는 단계를 포함하되,
    상기 단계 (d)에서 상기 평행 판단 단계의 판단 결과, 상기 양쪽 선이 서로 평행하지 않다고 판단되면, 상기 카메라의 각도값을 변경한 후, 상기 단계 (b) 내지 단계 (d)를 상기 양쪽 선이 서로 평행하다고 판단되어 상기 단계 (e)에서 상기 차선 이탈 경보 시점을 설정할 수 있을 때까지 반복하고,
    상기 단계 (b)에서 입력되는 영상에서 상기 영상 차선은 상기 차량의 앞바퀴 앞에 평행하게 설치된 차선 모양의 표식을 이용하여 상기 차량의 차폭 결정 및 상기 카메라의 자율보정을 동시에 하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법.
  2. 제 1 항에 있어서,
    변경된 상기 카메라의 각도값이 기설정된 값을 초과하는 경우, 자율보정 및 차선 이탈 경보 시점 설정 실패로 간주하고 종료하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법.
  3. 제 2 항에 있어서,
    상기 기설정된 값은 사용자가 임의로 설정할 수 있는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법.
  4. 삭제
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 차량이 상기 기준선인 상기 양쪽 선을 기준으로 좌우로 치우친 정도가 기설정된 범위를 벗어나면 자동으로 상기 차선 이탈 경보가 이루어지는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법.
  6. 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템에 있어서,
    상기 카메라로 입력되는 영상에서 영상 좌표 상의 영상 차선을 추출하는 차선 검출부;
    상기 차선 검출부에서 검출된 상기 영상 차선을 월드 좌표(World Coordinate) 상의 월드 차선으로 변환하는 좌표 변환부;
    상기 좌표 변환부에서 변환된 상기 월드 차선의 양쪽 선이 서로 평행한지 여부를 판단하는 평행 판단부; 및
    상기 평행 판단부의 판단 결과, 상기 양쪽 선이 서로 평행하다고 판단되면, 상기 양쪽 선의 너비를 상기 차량의 너비로 간주하고, 상기 양쪽 선을 차선 이탈 경보 시점의 기준선으로 설정하는 차폭 결정부를 포함하되,
    상기 평행 판단부의 판단 결과, 상기 양쪽 선이 서로 평행하지 않다고 판단되면, 상기 카메라의 각도값을 변경하여 상기 차선 검출부에서 새로운 영상 차선을 추출하도록 하고,
    상기 카메라로 입력되는 영상에서 상기 영상 차선은 상기 차량의 앞바퀴 앞에 평행하게 설치된 차선 모양의 표식을 이용하여 상기 차량의 차폭 결정 및 상기 카메라의 자율보정을 동시에 하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템.
  7. 삭제
  8. 제 6 항에 있어서,
    변경된 상기 카메라의 각도값이 기설정된 값을 초과하는 경우, 자율보정 및 차선 이탈 경보 시점 설정 실패로 간주하고 종료하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템.
  9. 제 8 항에 있어서,
    상기 기설정된 값은 사용자가 임의로 설정할 수 있는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템.
  10. 삭제
  11. 제 6 항에 있어서,
    상기 차량이 상기 차폭 결정부에서 설정된 상기 기준선인 상기 양쪽 선을 기준으로 좌우로 치우친 정도가 기설정된 범위를 벗어나면 자동으로 상기 차선 이탈 경보를 발하는 차선 이탈 경보부
    를 추가로 포함하는 것을 특징으로 하는 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 시스템.
KR1020100107692A 2010-11-01 2010-11-01 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템 KR101056285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100107692A KR101056285B1 (ko) 2010-11-01 2010-11-01 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100107692A KR101056285B1 (ko) 2010-11-01 2010-11-01 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101056285B1 true KR101056285B1 (ko) 2011-08-11

Family

ID=44933199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100107692A KR101056285B1 (ko) 2010-11-01 2010-11-01 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101056285B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271639B1 (ko) 2011-12-13 2013-06-17 (주)팜비젼 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템
KR101288374B1 (ko) 2012-05-18 2013-07-22 (주)베라시스 외차선 도로에서의 차선 설정장치 및 그 방법
KR20160135426A (ko) * 2015-05-18 2016-11-28 현대자동차주식회사 Ｌｋａｓ의 오프셋 보정 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202974A (ja) * 1995-01-31 1996-08-09 Isuzu Motors Ltd 車線逸脱警報装置
JP2002140696A (ja) * 2000-11-06 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像及び画像変換装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202974A (ja) * 1995-01-31 1996-08-09 Isuzu Motors Ltd 車線逸脱警報装置
JP2002140696A (ja) * 2000-11-06 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像及び画像変換装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271639B1 (ko) 2011-12-13 2013-06-17 (주)팜비젼 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템
KR101288374B1 (ko) 2012-05-18 2013-07-22 (주)베라시스 외차선 도로에서의 차선 설정장치 및 그 방법
KR20160135426A (ko) * 2015-05-18 2016-11-28 현대자동차주식회사 Ｌｋａｓ의 오프셋 보정 장치 및 그 방법
KR102175956B1 (ko) 2015-05-18 2020-11-09 현대자동차주식회사 Ｌｋａｓ의 오프셋 보정 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US10486593B2 (en) In-vehicle alert apparatus
US10218961B2 (en) Calibration method, calibration device, and computer program product
JP5752729B2 (ja) 車間距離算出装置およびその動作制御方法
US9619432B2 (en) Driver assisting system and method with windscreen heads-up display of vehicle environment
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
JP5423696B2 (ja) 標識認識装置
US20120212612A1 (en) Lane Departure Warning Apparatus and Lane Departure Warning System
GB2484795A (en) Operation of a vehicle sensor
JP2013003913A (ja) 車線逸脱警報装置
JP2013195783A (ja) 位置ずれ検出装置、車両及び位置ずれ検出方法
KR102183224B1 (ko) 차량 레이더 오차 보정 시스템 및 그 방법
KR101056285B1 (ko) 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템
US20170345159A1 (en) On-vehicle camera calibration auxiliary device
KR20210006558A (ko) Ecs의 노면정보 보정방법 및 시스템
CN105809669A (zh) 一种用于校准图像检测设备的方法和装置
KR101356201B1 (ko) 차량용 후측방 감지시스템
KR20140062240A (ko) 차선 인식 시스템 및 방법
KR20160056181A (ko) 차량 주행 보조 장치 및 차량 주행 보조 방법
KR101268282B1 (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
KR20200054370A (ko) 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법
KR102506642B1 (ko) 차량용 융합 시스템 및 이 시스템의 정보 처리 방법
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
KR102079291B1 (ko) 전방 차량 충돌 경고 장치 및 방법
KR20130051375A (ko) Ｌｋａｓ의 차선 보상 장치 및 방법
CN112817303B (zh) 自走三角警示架及其行进控制方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140902

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160729

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180806

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 9