KR20150096924A - 전방 충돌 차량 선정 방법 및 시스템 - Google Patents

전방 충돌 차량 선정 방법 및 시스템 Download PDF

Info

Publication number
KR20150096924A
KR20150096924A KR1020140017824A KR20140017824A KR20150096924A KR 20150096924 A KR20150096924 A KR 20150096924A KR 1020140017824 A KR1020140017824 A KR 1020140017824A KR 20140017824 A KR20140017824 A KR 20140017824A KR 20150096924 A KR20150096924 A KR 20150096924A
Authority
KR
South Korea
Prior art keywords
vehicle
lane
information
image
unit
Prior art date
Application number
KR1020140017824A
Other languages
English (en)
Inventor
강용규
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020140017824A priority Critical patent/KR20150096924A/ko
Publication of KR20150096924A publication Critical patent/KR20150096924A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 전방에 설치된 카메라를 이용해 전방 영상을 획득하고, 획득한 전방 영상에서 차선 정보와 차량 정보를 인식하여, 차량 정보에 대해 자차와의 거리 좌표계 정보로 변환하고, 차선 정보에 대해 실제 좌표계 정보로 변환해 차량 진행 차선을 기반으로 전방 충돌 후보 차량을 선정할 수 있도록 하는 전방 충돌 차량 선정 방법 및 시스템에 관한 것이다. 본 발명에 따른 전방 충돌 차량 선정 시스템은, 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 획득한 전방 영상으로부터 차선 정보와 차량 정보를 인식하는 영상 인식부; 상기 차선 정보와 차량 정보에 근거해 차선 및 차량의 위치를 인지하는 위치 판별부; 상기 위치 판별부를 통해 인지한 차선 및 차량의 위치에 따라 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단하는 제어부; 및 상기 차량 진행 차선에 충돌 위험 차량이 존재하는지 여부를 음향으로 출력하거나, 화면 상에 디스플레이하는 경고 출력부를 포함하는 것을 특징으로 한다.

Description

전방 충돌 차량 선정 방법 및 시스템{System and method for selecting far forward collision vehicle using lane expansion}
본 발명은 전방 충돌 차량 선정 방법 및 시스템에 관한 것으로서, 더욱 자세하게는 차량의 전방에 설치된 카메라를 이용해 전방 영상을 획득하고, 획득한 전방 영상에서 차선 정보와 차량 정보를 인식하여, 차량 정보에 대해 자차와의 거리 좌표계 정보로 변환하고, 차선 정보에 대해 실제 좌표계 정보로 변환해 차량 진행 차선을 기반으로 전방 충돌 후보 차량을 선정할 수 있도록 하는 전방 충돌 차량 선정 방법 및 시스템에 관한 것이다.
종래, 차선을 이용한 전방 충돌 방지 시스템은 차선 정보와 레이더 혹은 영상을 이용하여 획득한 차량의 위치 정보를 이용하여 전방 충돌 위험 차량을 인식하는 시스템이다.
전방 충돌을 경보하기 위해서는 차선, 차량의 검출 방법, 날씨 및 주야에 따른 광량 변화, 차선 중심과 카메라 광학 축 사이의 차이 등 다양한 많은 변수들이 고려되어야 하기 때문에 종래의 전방 충돌 경보 방법에서는 차량을 정확하게 인식하기가 어려웠다.
종래에는 레이저를 이용하는 방법을 일반적으로 사용하였다. 즉, 운전자에게 편의성을 제공하고 주행 안전성을 향상시키기 위한 ACC (Adaptive Cruise Control)와 FCW (Forward Collision Warning)와 같은 DAS (Driver Assistance System)이 상용화되어 있으며, 또한 복잡한 주행 상황을 고려한 TJA (Traffic Jam Assist)나 전 주행속도(Stop & Go) ACC 개발 등 활발히 연구가 진행되고 있는 실정이다. 이러한 DAS을 위해서는 강인하고 신뢰도 높은 주변 차량 검지 및 장애물 인지가 필수 핵심 요소라 할 수 있다. 현재까지는, ACC나 FCW 시스템의 경우 고속도로 환경에서 날씨에 관계없이 종방향 거리를 측정할 수 있게 하는 레이더를 기반으로 대부분 개발되어 왔다.
하지만, 레이더의 경우 센서 자체의 특성으로 인해 전방의 다중 차량이 근접하여 동일한 속도로 주행하는 경우 이를 구분하지 못하며, 레이더 신호의 난반사로 인해 정지된 차량을 인식하지 못하는 등 복잡한 주행 환경에서 성능이 떨어지는 문제점이 있다. 따라서 이러한 단점을 보완하기 위하여 다른 센서와의 융합을 통하여 해결하고자 하는 연구가 진행되고 있는 실정이다.
종래의 차선 정보를 이용한 전방 충돌 방지 시스템은 차선의 실세계 위치 방정식과 차량의 실세계 거리 정보를 이용하여 전방 충돌 위험 차량 후보군을 선정하게 된다.
인지된 차선 거리 이상 위치에 존재하는 차량의 충돌 가능성을 판단하기 위해 차선을 확장하게 되면 잘못된 전방 충돌 차량을 선정할 가능성이 있어 전방 충돌 방지 시스템의 신뢰도를 감소시키는 문제점이 있었다.
대한민국 공개특허공보 제10-2013-0007243호(공개일 : 2013년01월18일)
전술한 문제점을 해결하기 위한 본 발명의 목적은, 차량의 전방에 설치된 카메라를 이용해 전방 영상을 획득하고, 획득한 전방 영상에서 차선 정보와 차량 정보를 인식하여, 차량 정보에 대해 자차와의 거리 좌표계 정보로 변환하고, 차선 정보에 대해 실제 좌표계 정보로 변환해 차량 진행 차선을 기반으로 전방 충돌 후보 차량을 선정할 수 있도록 하는 전방 충돌 차량 선정 방법 및 시스템을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 획득한 전방 영상으로부터 차선 정보와 차량 정보를 인식하는 영상 인식부; 상기 차선 정보와 차량 정보에 근거해 차선 및 차량의 위치를 인지하는 위치 판별부; 상기 위치 판별부를 통해 인지한 차선 및 차량의 위치에 따라 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단하는 제어부; 및 상기 차량 진행 차선에 충돌 위험 차량이 존재하는지 여부를 음향으로 출력하거나, 화면 상에 디스플레이하는 경고 출력부를 포함하는 전방 충돌 차량 선정 시스템이 제공된다.
또한, 상기 영상 인식부는, 상기 획득한 전방 영상으로부터 차량 후보군을 추출하고, 차량 후보군에 존재하는 차량을 인식하게 된다.
또한, 상기 영상 인식부는, 상기 획득한 전방 영상으로부터 차선 후보군을 추출하고, 차선 후보군에 존재하는 차선을 인식하게 된다.
또한, 상기 위치 판별부는, 상기 차량 정보를 자차와의 거리 좌표계로 변환하고, 상기 차선 정보를 실세계 좌표계의 차선 방정식으로 변환해 상기 제어부에 전달하게 된다.
그리고, 상기 제어부는, 상기 실세계 좌표계의 차선 방정식을 카메라 캘리브레이션(calibration) 정보와의 관계를 이용하여 영상에서의 차선 방정식으로 변환하고, 영상에서 인식된 영역까지의 차선에 대해 최소 제곱법(Least Square Fit)을 이용해 차선을 확장시켜, 실세계 좌표계의 차선 방정식으로 변환해 차선 및 차량의 위치를 인지한 후 차선을 유지하도록 제어하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 영상 획득부와 영상 인식부, 위치 판별부, 제어부 및 경고 출력부를 포함하는 시스템의 전방 충돌 차량 선정 방법으로서, (a) 상기 영상 획득부에서 차량의 전방을 촬영하여 전방 영상을 획득하는 단계; (b) 상기 영상 인식부에서 상기 전방 영상으로부터 차선 정보와 차량 정보를 인식하는 단계; (c) 상기 위치 판별부에서 상기 차선 정보와 차량 정보에 근거해 차선 및 차량의 위치를 인지하는 단계; (d) 상기 제어부에서 상기 인지한 차선 및 차량의 위치에 따라 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단하는 단계; 및 (e) 상기 경고 출력부에서 상기 차량 진행 차선에 충돌 위험 차량이 존재하는지 여부를 음향으로 출력하거나, 화면 상에 디스플레이하는 단계를 포함하는 전방 충돌 차량 선정 방법이 제공된다.
또한, 상기 (b) 단계는, 상기 영상 인식부가 상기 전방 영상으로부터 차량 후보군을 추출하고, 차량 후보군에 존재하는 차량을 인식하게 된다.
또한, 상기 (b) 단계는, 상기 영상 인식부가 상기 전방 영상으로부터 차선 후보군을 추출하고, 차선 후보군에 존재하는 차선을 인식하게 된다.
또한, 상기 (c) 단계는, 상기 위치 판별부가 상기 차량 정보를 자차와의 거리 좌표계로 변환하고, 상기 차선 정보를 실세계 좌표계의 차선 방정식으로 변환해 상기 제어부에 전달하게 된다.
그리고, 상기 (d) 단계는, 상기 제어부가 상기 실세계 좌표계의 차선 방정식을 카메라 캘리브레이션(calibration) 정보와의 관계를 이용하여 영상에서의 차선 방정식으로 변환하고, 영상에서 인식된 영역까지의 차선에 대해 최소 제곱법(Least Square Fit)을 이용해 차선을 확장시켜, 실세계 좌표계의 차선 방정식으로 변환해 차선 및 차량의 위치를 인지한 후 차선을 유지하도록 제어하게 된다.
본 발명에 의하면, 진행 차선에서 전방 충돌 후보 차량을 선정하여 경고하게 됨으로써 전방 충돌 사고를 미연에 방지할 수 있다.
또한, 전방 영상에서 차량, 차선 위치를 판별하여 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단할 수 있게 됨으로써, 전방 충돌 장치의 신뢰성을 향상시켜 사고 위험성을 감소시킬 수 있다.
도 1은 본 발명의 실시예에 따른 전방 충돌 차량 선정 시스템의 기능 블럭을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 전방 충돌 차량 선정 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 3은 차선 인식 시스템을 적용하여 전방 영상에서 차선을 인식하는 예를 나타낸 도면이다.
도 4는 차선 인식 시스템을 적용하여 진행 차선을 확장시키는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 차선 인식 시스템을 이용해 차선을 확장하여 진행 차선에서 충돌 위험 차량이 존재하는지를 검출하는 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에 따른 전방 충돌 차량 선정 방법 및 시스템의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 전방 충돌 차량 선정 시스템의 기능 블럭을 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 전방 충돌 차량 선정 시스템(100)은, 영상 획득부(110), 영상 인식부(120), 위치 판별부(130), 제어부(140) 및 경고 출력부(150)를 포함한다.
영상 획득부(110)는 전방 카메라를 구비하여, 전방 카메라를 통해 차량의 전방을 촬영하여 전방 영상을 획득한다.
영상 인식부(120)는 획득한 전방 영상으로부터 차선 정보와 차량 정보를 인식한다.
또한, 영상 인식부(120)는, 획득한 전방 영상으로부터 차량 후보군을 추출하고, 차량 후보군에 존재하는 차량을 인식하게 된다.
또한, 영상 인식부(120)는, 획득한 전방 영상으로부터 차선 후보군을 추출하고, 차선 후보군에 존재하는 차선을 인식하게 된다.
위치 판별부(130)는 차선 정보와 차량 정보에 근거해 차선 및 차량의 위치를 인지한다.
또한, 위치 판별부(130)는, 차량 정보를 자차와의 거리 좌표계로 변환하고, 차선 정보를 실세계 좌표계의 차선 방정식으로 변환해 제어부에 전달하게 된다.
제어부(140)는 위치 판별부를 통해 인지한 차선 및 차량의 위치에 따라 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단하게 된다.
제어부(140)는, 실세계 좌표계의 차선 방정식을 카메라 캘리브레이션(calibration) 정보와의 관계를 이용하여 영상에서의 차선 방정식으로 변환하고, 영상에서 인식된 영역까지의 차선에 대해 최소 제곱법(Least Square Fitting)을 이용해 차선을 확장시켜, 실세계 좌표계의 차선 방정식으로 변환해 차선 및 차량의 위치를 인지한 후 차선을 유지하도록 제어하게 된다.
경고 출력부(150)는 차량 진행 차선에 충돌 위험 차량이 존재하는지 여부를 음향으로 출력하거나, 화면 상에 디스플레이하게 된다.
도 2는 본 발명의 실시예에 따른 전방 충돌 차량 선정 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 전방 충돌 차량 선정 시스템(100)은, 먼저 영상 획득부(110)에서 전방 카메라를 통해 차량의 전방을 촬영하여 전방 영상을 획득한다(S210).
이어, 영상 인식부(120)에서 전방 영상으로부터 차선 정보와 차량 정보를 인식한다(S220).
즉, 영상 인식부(120)는 전방 영상으로부터 차량 후보군을 추출하고, 차량 후보군에 존재하는 차량을 인식하거나, 도 3에 도시된 바와 같이 전방 영상으로부터 차선 후보군을 추출하고, 차선 후보군에 존재하는 차선을 인식하게 된다. 도 3은 차선 인식 시스템을 적용하여 전방 영상에서 차선을 인식하는 예를 나타낸 도면이다. 이때, 영상 인식부(120)는 전방 영상으로부터 직접 차선 정보를 추출할 수도 있고, 차선 이탈 경보 시스템 등과 연동하여 차선 정보를 추출할 수도 있다.
영상 인식부(120)는 전방 영상으로부터 차선 정보를 추출하면, 추출한 차선 내의 영역을 전처리 영역으로 설정하고, 차선이 추출되지 않으면 기설정된 기본 영역을 전처리 대상 영역으로 설정한 후, 전처리 대상 영역에 대하여 도로면 위에 존재하는 객체를 구분하여 처리하기 위한 영상 전처리를 실시하고, 영상 전처리 결과 생성된 영상을 이용하여 전방 차량이 존재할 가능성이 있는 후보 영역을 설정할 수 있다.
여기서, 기본 영역은 전방 카메라를 통해 획득된 전방 영상의 중앙부로 할 수 있고, 영상 전처리는 모서리 검출 기법을 이용하여 전처리 대상 영역에 존재하는 객체를 식별하여, 식별된 객체 중 차선을 제외하는 방식의 영상 전처리로 할 수 있다.
또한, 후보 영역 추출은 추출된 차선 내의 영역의 영상에 대해서 히스토그램을 적용함으로써 히스토그램의 분포를 통해 후보 영역을 검출한다. 여기서, 만약 차선 내에 객체가 존재하지 않아 후보 영역이 검출되지 않으면 전방 차량이 존재하지 않는 것으로 간주하고 차선 검출부터 다시 시작하게 된다.
이어, 위치 판별부(130)에서 차선 정보와 차량 정보에 근거해 차선 및 차량의 위치를 판별하여 인지한다(S230).
이때, 위치 판별부(130)는 차량 정보를 자차와의 거리 좌표계로 변환하고, 차선 정보를 실세계 좌표계의 차선 방정식으로 변환해 제어부에 전달하게 된다.
전방 차량을 검출하기 위해서는 우선 차량이 진행하고 있는 차선의 정보를 미리 알고 있는 것이 중요하므로, 본 발명의 실시예에 따른 영상 인식부(120)는 전방 영상에서 차선을 검출하고, 위치 판별부(130)는 검출된 차선에 근거해 차량의 위치를 판별한다.
이때, 차선의 검출은 차선 이탈 경보 시스템 등과 연동하여 차선 정보를 검출할 수도 있고, 또는 직접 차선 정보를 검출할 수 있는데, 주행하고 있는 차선을 알 수 있기만 하면 어떤 방법이라도 관계없다. 전방 차량은 주행하고 있는 차선 내의 영상에 있을 확률이 대단히 높으므로, 그 영상 내에서 전방 차량을 검출하는 것이 바람직하다.
진행 차선의 검출 거리가 전방 충돌 후보 차량보다 짧으면 제어부(140)는 도 4에 도시된 바와 같이 진행 차선을 확장시켜 후보군을 선정하게 된다. 도 4는 차선 인식 시스템을 적용하여 진행 차선을 확장시키는 예를 나타낸 도면이다.
이어, 제어부(140)에서 차선 및 차량의 위치에 따라 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단한다(S240).
즉, 제어부(140)는 실세계 좌표계의 차선 방정식을 카메라 캘리브레이션(calibration) 정보와의 관계를 이용하여 영상에서의 차선 방정식으로 변환하고, 영상에서 인식된 영역까지의 차선을 최소 제곱법(Least Square Fitting)을 이용해 차선을 확장시켜, 도 5에 도시된 바와 같이 실세계 좌표계의 차선 방정식으로 변환해 차선 및 차량의 위치를 인지한 후 충돌 위험 차량이 존재하는지를 판단하게 된다. 도 5는 본 발명의 실시예에 따라 차선 인식 시스템을 이용해 차선을 확장하여 진행 차선에서 충돌 위험 차량이 존재하는지를 검출하는 예를 나타낸 도면이다. 도 5에 도시된 바와 같이 적색 박스 표시된 차량이 진행 차선의 전방에 충돌 위험 차량으로 검출되고, 녹색 박스 표시된 차량은 진행 차선에 존재하지 않으므로 비전방 차량으로 판단하게 된다.
이어, 제어부(140)는 차량 진행 차선에 충돌 위험 차량이 존재하는 것으로 판단되면(S250-예), 충돌 차량이 존재함을 알리는 경고 메시지를 경고 출력부(150)에 전달한다(S260).
즉, 제어부(140)는 전방 영상에서 인식된 영역까지의 차선을 최소 제곱법을 이용해 차선을 확장시키고, 이를 실세계 좌표계의 차선 방정식으로 변환해 전방 충돌 후보 차량을 선정하여 인식하면, 경고 메시지를 경고 출력부(150)에 전달하는 것이다.
제어부(140)는 확장된 차선 내의 영상에서 차량의 존재 여부를 판단하기 위해서, 차량의 윤곽에 기인한 에지(Edge), 대칭성 또는 그림자를 이용한 방법 등을 이용할 수 있다. 예를 들면, H. Mori와 N. M. Charkari가 제안한 그림자를 이용한 방법은 차량 하단 그림자의 명도 값은 차량 주변의 도로 명도 값보다 항상 어둡다는 이론을 근거로 차량을 검출하는 것이다. 또한, 그림자를 이용한 또 다른 방법으로는 컬러, 엔트로피 또는 에지(edge)-based module 방법 등이 있다. edge-based module 방법은 컬러와 엔트로피 방법에 비해 상대적으로 계산량이 적다는 점에서 도로 영상을 처리하는 데 효율적이라 할 수 있다. 이 방법에서는 도로 영상에서 먼저 도로를 추출함으로써 차량 하단의 그림자를 검출하기 위한 적절한 임계치(Threshold)를 결정하는 방식으로 수행된다.
전방 차량을 검출하게 되면, 전방 차량의 움직임을 지속적으로 인식하는 것이 필요하다. 차량 인식을 위한 영상 처리는 입력되는 영상 프레임 단위로 이루어진다. 통상적인 영상은 초당 30fps로 입력되므로, 이를 실시간으로 모두 인식하기에는 무리가 있다. 따라서, 한번 인식한 차량에 대해서는 다음 프레임에서 인식을 처리하는 것이 아니라, 그 차량의 움직임을 추적하는 것으로 하게 되므로, 부하가 줄어들게 된다.
차량의 움직임을 추적하기 위해서는 차량의 특정 위치를 특징점으로 하여, 이 점을 지속적으로 추적하는 것이 바람직하다. 제어부(140)는 이를 위해 차량의 하단을 검출한다. 차량의 움직임을 가장 쉽고 확실하게 하는 위치는 차량의 뒤 범퍼 양쪽 끝쪽, 또는 뒷바퀴 양끝이므로, 주로 주간에는 바퀴 부분을, 야간에는 범퍼 부분을 검출하게 할 수 있다. 이를 검출함으로써 이후 차량 추적 단계의 특징점으로 사용할 수 있다.
다음으로, 검출한 전방 차량의 특징점을 지속적으로 추적한다. 이를 위해서는 KLT(Kanade Lukas Tomosi)와 같은 특징 추적 알고리즘을 이용할 수 있다. 즉, 특징점들의 움직임을 추적함으로써 전방 차량의 위치 및 속도를 감지할 수 있게 하는 것이다. 만약, 급격한 환경 변화, 혹은 전방 차량의 차선 변경, 그림자의 변화 등으로 해당 특징점을 추적하지 못하는 경우가 발생하게 되면, 처음 단계인 차선 검출을 다시 수행하면 된다.
다음으로, 추적한 특징점을 이용하여 전방 차량과의 거리를 계산한다. 즉, 추적한 특징점은 차량의 하단 부분인 바퀴 혹은 범퍼이기 때문에, 전방 차량과의 거리는 이 특징점까지의 거리로 간주할 수 있다. 거리 측정은 카메라 캘리브레이션 등에 의해서 계산이 가능하다.
다음으로, 추적한 특징점을 이용하여 주행 차량과 전방 차량과의 상대속도를 계산한다. 주행 차량과 전방 차량과의 상대속도란 주행 차량의 속도와 전방 차량의 속도 차를 의미하므로, 상대 속도는 현재 운행중인 차의 속도와 상대방 차량 속도와의 상관 관계를 이용하여 계산한다. 여기서 주행 속도는 주행 차량으로부터 속도 신호를 입력받거나 GPS 정보를 이용하여 처리할 수 있으며, 전방 차량의 속도는 영상에서 차량 움직임의 변화량을 이용하여 추정할 수 있다. 영상의 처리 주기는 CPU의 성능 및 개발자의 설정값에 의해서 처리가 가능하며, 최대 초당 30fps, 최소 초당 5fps 로 처리하는 것이 바람직하다. 예컨대, 초당 10fps로 추적한다고 하면, 영상 내에서 추적된 거리를 d라 했을 때, 상대속도 시속 VR = d/(10/60초*60분)의 형태로 계산할 수 있다.
제어부(140)는 계산된 상대 속도를 이용하여 TTC(Time-to-Contact)를 계산할 수 있다. 여기서 TTC는 차량 주행속도와 전방 차량과의 거리, 그리고 전방 차량의 속도 정보를 이용하여 전방 차량과의 추돌 예상 시간을 계산하는 방법론 중의 하나이다. 즉, 전방 차량과의 거리를 D, 차량 주행속도를 Vr, 계산부(150)에서 계산된 전방 차량의 속도를 Vf라 하면 추돌 예상 시간은 T = D / (Vr - Vf) 이 된다.
일 예로, 전방 차량과의 거리가 100미터일 경우 차량의 상대속도가 36Km/h(10m/s) 차이가 나면 TTC는 10초이다. 계산된 상대속도에 따라 추돌 예상 시간이 결정되는데, 즉 전방 차량보다 주행 차량의 속도가 같거나 느리면 추돌 예상 시간은 무한대가 되고 전방 차량보다 주행 차량의 속도가 빠를수록 추돌 예상 시간은 짧아지게 된다.
다음으로, 제어부(140)는 계산된 거리 또는 상대 속도를 이용하여 충돌 경보 처리를 수행하여, 경고 메시지를 경고 출력부(150)에 전달하는 것이다
이어, 경고 출력부(150)는 차량 진행 차선에 충돌 위험 차량이 존재하는지 여부를 음향으로 출력하거나, 화면 상에 디스플레이한다(S270).
따라서, 차량을 운전하는 운전자가 현재 진행 차선에 충돌 위험 차량이 존재하는 경고음이나 경고 메시지를 확인하고서 차량을 조심히 운전하여 충돌 사고를 미리 예방하게 되는 것이다.
전술한 바와 같이 본 발명에 의하면, 차량의 전방에 설치된 카메라를 이용해 전방 영상을 획득하고, 획득한 전방 영상에서 차선 정보와 차량 정보를 인식하여, 차량 정보에 대해 자차와의 거리 좌표계 정보로 변환하고, 차선 정보에 대해 실제 좌표계 정보로 변환해 차량 진행 차선을 기반으로 전방 충돌 후보 차량을 선정할 수 있도록 하는 전방 충돌 차량 선정 방법 및 시스템을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 차량의 전방에 설치된 카메라를 이용해 전방 영상을 획득하고, 획득한 전방 영상에서 차선 정보와 차량 정보를 인식하여, 차량 정보에 대해 자차와의 거리 좌표계 정보로 변환하고, 차선 정보에 대해 실제 좌표계 정보로 변환해 차량 진행 차선을 기반으로 전방 충돌 후보 차량을 선정할 수 있도록 하는 전방 충돌 차량 선정 방법 및 시스템에 적용할 수 있다.
100 : 전방 충돌 차량 선정 시스템
110 : 영상 획득부
120 : 영상 인식부
130 : 위치 판별부
140 : 제어부
150 : 경고 출력부

Claims (10)

  1. 차량의 전방을 촬영하여 전방 영상을 획득하는 영상 획득부;
    상기 획득한 전방 영상으로부터 차선 정보와 차량 정보를 인식하는 영상 인식부;
    상기 차선 정보와 차량 정보에 근거해 차선 및 차량의 위치를 인지하는 위치 판별부;
    상기 위치 판별부를 통해 인지한 차선 및 차량의 위치에 따라 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단하는 제어부; 및
    상기 차량 진행 차선에 충돌 위험 차량이 존재하는지 여부를 음향으로 출력하거나, 화면 상에 디스플레이하는 경고 출력부;
    를 포함하는 전방 충돌 차량 선정 시스템.
  2. 청구항 1에 있어서,
    상기 영상 인식부는, 상기 획득한 전방 영상으로부터 차량 후보군을 추출하고, 차량 후보군에 존재하는 차량을 인식하는 것을 특징으로 하는 전방 충돌 차량 선정 시스템.
  3. 청구항 1에 있어서,
    상기 영상 인식부는, 상기 획득한 전방 영상으로부터 차선 후보군을 추출하고, 차선 후보군에 존재하는 차선을 인식하는 것을 특징으로 하는 전방 충돌 차량 선정 시스템.
  4. 청구항 1에 있어서,
    상기 위치 판별부는, 상기 차량 정보를 자차와의 거리 좌표계로 변환하고, 상기 차선 정보를 실세계 좌표계의 차선 방정식으로 변환해 상기 제어부에 전달하는 것을 특징으로 하는 전방 충돌 차량 선정 시스템.
  5. 청구항 4에 있어서,
    상기 제어부는, 상기 실세계 좌표계의 차선 방정식을 카메라 캘리브레이션(calibration) 정보와의 관계를 이용하여 영상에서의 차선 방정식으로 변환하고, 영상에서 인식된 영역까지의 차선에 대해 최소 제곱법(Least Square Fit)을 이용해 차선을 확장시켜, 실세계 좌표계의 차선 방정식으로 변환해 차선 및 차량의 위치를 인지한 후 차선을 유지하도록 제어하는 것을 특징으로 하는 전방 충돌 차량 선정 시스템.
  6. 영상 획득부와 영상 인식부, 위치 판별부, 제어부 및 경고 출력부를 포함하는 시스템의 전방 충돌 차량 선정 방법으로서,
    (a) 상기 영상 획득부에서 차량의 전방을 촬영하여 전방 영상을 획득하는 단계;
    (b) 상기 영상 인식부에서 상기 전방 영상으로부터 차선 정보와 차량 정보를 인식하는 단계;
    (c) 상기 위치 판별부에서 상기 차선 정보와 차량 정보에 근거해 차선 및 차량의 위치를 인지하는 단계;
    (d) 상기 제어부에서 상기 인지한 차선 및 차량의 위치에 따라 차량 진행 차선에 충돌 위험 차량이 존재하는지를 판단하는 단계; 및
    (e) 상기 경고 출력부에서 상기 차량 진행 차선에 충돌 위험 차량이 존재하는지 여부를 음향으로 출력하거나, 화면 상에 디스플레이하는 단계;
    를 포함하는 전방 충돌 차량 선정 방법.
  7. 청구항 6에 있어서,
    상기 (b) 단계는, 상기 영상 인식부가 상기 전방 영상으로부터 차량 후보군을 추출하고, 차량 후보군에 존재하는 차량을 인식하는 것을 특징으로 하는 전방 충돌 차량 선정 방법.
  8. 청구항 6에 있어서,
    상기 (b) 단계는, 상기 영상 인식부가 상기 전방 영상으로부터 차선 후보군을 추출하고, 차선 후보군에 존재하는 차선을 인식하는 것을 특징으로 하는 전방 충돌 차량 선정 방법.
  9. 청구항 6에 있어서,
    상기 (c) 단계는, 상기 위치 판별부가 상기 차량 정보를 자차와의 거리 좌표계로 변환하고, 상기 차선 정보를 실세계 좌표계의 차선 방정식으로 변환해 상기 제어부에 전달하는 것을 특징으로 하는 전방 충돌 차량 선정 방법.
  10. 청구항 9에 있어서,
    상기 (d) 단계는, 상기 제어부가 상기 실세계 좌표계의 차선 방정식을 카메라 캘리브레이션(calibration) 정보와의 관계를 이용하여 영상에서의 차선 방정식으로 변환하고, 영상에서 인식된 영역까지의 차선에 대해 최소 제곱법(Least Square Fit)을 이용해 차선을 확장시켜, 실세계 좌표계의 차선 방정식으로 변환해 차선 및 차량의 위치를 인지한 후 차선을 유지하도록 제어하는 것을 특징으로 하는 전방 충돌 차량 선정 방법.
KR1020140017824A 2014-02-17 2014-02-17 전방 충돌 차량 선정 방법 및 시스템 KR20150096924A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140017824A KR20150096924A (ko) 2014-02-17 2014-02-17 전방 충돌 차량 선정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140017824A KR20150096924A (ko) 2014-02-17 2014-02-17 전방 충돌 차량 선정 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20150096924A true KR20150096924A (ko) 2015-08-26

Family

ID=54059016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140017824A KR20150096924A (ko) 2014-02-17 2014-02-17 전방 충돌 차량 선정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20150096924A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105691391A (zh) * 2016-03-02 2016-06-22 同济大学 一种考虑驾驶员反应差异性特征的前向避撞预警算法
KR101714250B1 (ko) 2015-10-28 2017-03-08 현대자동차주식회사 주변 차량의 이동 경로의 예측 방법
KR20170060931A (ko) 2015-11-25 2017-06-02 현대자동차주식회사 긴급자동제동시스템 및 그 제어 방법
CN109703556A (zh) * 2018-12-20 2019-05-03 斑马网络技术有限公司 驾驶辅助方法及设备
KR101971370B1 (ko) * 2017-12-18 2019-08-13 국민대학교산학협력단 광학 카메라 통신을 이용하는 차량 위치 추정 방법 및 장치
WO2021051959A1 (zh) * 2019-09-16 2021-03-25 华为技术有限公司 车辆控制的方法、装置、控制器和智能汽车
US20220080974A1 (en) * 2020-09-17 2022-03-17 Hyundai Motor Company Vehicle and method of controlling the same

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101714250B1 (ko) 2015-10-28 2017-03-08 현대자동차주식회사 주변 차량의 이동 경로의 예측 방법
US10793162B2 (en) 2015-10-28 2020-10-06 Hyundai Motor Company Method and system for predicting driving path of neighboring vehicle
KR20170060931A (ko) 2015-11-25 2017-06-02 현대자동차주식회사 긴급자동제동시스템 및 그 제어 방법
CN105691391A (zh) * 2016-03-02 2016-06-22 同济大学 一种考虑驾驶员反应差异性特征的前向避撞预警算法
KR101971370B1 (ko) * 2017-12-18 2019-08-13 국민대학교산학협력단 광학 카메라 통신을 이용하는 차량 위치 추정 방법 및 장치
CN109703556A (zh) * 2018-12-20 2019-05-03 斑马网络技术有限公司 驾驶辅助方法及设备
WO2021051959A1 (zh) * 2019-09-16 2021-03-25 华为技术有限公司 车辆控制的方法、装置、控制器和智能汽车
US20220080974A1 (en) * 2020-09-17 2022-03-17 Hyundai Motor Company Vehicle and method of controlling the same
US11713044B2 (en) * 2020-09-17 2023-08-01 Hyundai Motor Company Vehicle for estimation a state of the other vehicle using reference point of the other vehicle, and method of controlling the vehicle

Similar Documents

Publication Publication Date Title
US11972615B2 (en) Vehicular control system
CN108263279B (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
US10688997B2 (en) Lane merging determination apparatus
EP3258214B1 (en) Object detection device
US9827956B2 (en) Method and device for detecting a braking situation
US8180561B2 (en) Vehicle-installation obstacle detection apparatus
EP3273423B1 (en) Device and method for a vehicle for recognizing a pedestrian
US10246030B2 (en) Object detection apparatus and driving assistance apparatus
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
CN110651313A (zh) 控制装置和控制方法
KR20130007243A (ko) 차량 카메라를 이용한 전방 충돌 경보 방법 및 시스템
CN105128836A (zh) 自主紧急制动系统及其中识别行人的方法
JP6787157B2 (ja) 車両制御装置
KR20080004835A (ko) 주행 차량의 운전자 보조 정보 생성 장치 및 방법
US20120163671A1 (en) Context-aware method and apparatus based on fusion of data of image sensor and distance sensor
US20170300764A1 (en) Travel Route Recognition Device, and Travel Assistance System Using Same
JP6354659B2 (ja) 走行支援装置
KR20190049221A (ko) 자율주행 차량의 보행자 인식 방법
KR102051397B1 (ko) 안전운전 지원 장치 및 방법
KR102017958B1 (ko) 철도차량용 증강현실 헤드업 디스플레이 시스템
US9939523B2 (en) Vehicle type radar system, and method for removing an uninterested target
JP2018063606A (ja) 移動検出装置、移動検出方法
JP4762830B2 (ja) 周辺監視システム
JP6663622B2 (ja) 撮像装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application