KR20230094853A - 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법 - Google Patents

듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법 Download PDF

Info

Publication number
KR20230094853A
KR20230094853A KR1020210184321A KR20210184321A KR20230094853A KR 20230094853 A KR20230094853 A KR 20230094853A KR 1020210184321 A KR1020210184321 A KR 1020210184321A KR 20210184321 A KR20210184321 A KR 20210184321A KR 20230094853 A KR20230094853 A KR 20230094853A
Authority
KR
South Korea
Prior art keywords
distance
lane
camera
target vehicle
image
Prior art date
Application number
KR1020210184321A
Other languages
English (en)
Inventor
이선봉
김봉주
이시호
이수림
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210184321A priority Critical patent/KR20230094853A/ko
Publication of KR20230094853A publication Critical patent/KR20230094853A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/803—Relative lateral speed

Abstract

본 발명은 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 제어 방법이 개시된다. 본 발명의 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치는, 대상차량에 장착된 듀얼 카메라를 이용하여 선행차량과의 제1 상대거리를 계산하고, 대상차량과 횡방향 차선까지의 제1 차선거리를 계산하는 거리 계산부; 대상차량에 장착된 센서부의 센서를 기반으로 선행차량과의 제2 상대거리를 측정하고, 대상차량과 횡방향 차선까지의 제2 차선거리를 측정하는 거리 측정부; 및 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오별로 고속도로를 주행하는 상황에서 제1 상대거리와 제2 상대거리를 비교하고, 제1 차선거리와 제2 차선거리를 비교하여 시나리오별로 오차율을 계산하여 평가하는 제어부;를 포함하는 것을 특징으로 한다.

Description

듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법{PERFORMANCE EVALUATION APPARATUS FOR HIGHWAY DRIVING ASSIST SYSTEM THAT CALCULATES DISTANCE USING DUAL CAMERAS AND METHOD THEREOF}
본 발명은 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법에 관한 것으로서, 보다 상세하게는 듀얼 카메라를 이용하여 계산한 거리를 바탕으로 고속도로 주행을 보조하는 고속도로 주행지원(HDA : Highway Driving Assist) 시스템에 대한 성능을 평가할 수 있도록 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법에 관한 것이다.
일반적으로, 자율주행 기술의 단계는 국제자동차기술자협회(SAE, Society of Automotive Engineers)에서 정의한 내용이 국제 기준으로 통용되고 있으며, 단계 1에서 단계 5까지 총 6단계로 분류된다.
현재 양산 자동차에 탑재된 자율주행 기술은 단계 2수준으로, 운전자를 보조하는 역할을 수행하며, ADAS(Advanced Driver Assistance Systems)로 정의된다. 이러한 자율주행을 실현시키기 위해서는 다양한 센서(예 : 라이다, 레이더, 카메라 등)가 사용된다.
그러나 이러한 다양한 센서들을 모두 장착할 경우에는 차량의 제작 단가가 상승하기 때문에, 최근에는 이러한 센서들을 대체하여 단지 카메라를 이용해 처리하고자 하는 연구가 진행되고 있으며, 이에 더하여 단순히 카메라를 사용하는 것에 그치지 않고, 적은 비용으로(즉, 카메라 장착 대수를 줄이면서) 카메라의 성능을 최대로 활용할 수 있도록 하는 연구가 함께 진행되고 있다.
이에 따라 현재까지 가장 효율성이 높은 방식은, 듀얼 카메라를 최적 위치(차폭과 높이를 고려하여 카메라의 성능을 최대로 활용할 수 있는 위치)에 장착하는 것이 중요한 것으로 알려져 있다.
또한 상술한 바와 같이 최근 첨단운전자지원시스템(ADAS)이 적용된 차량이 증가하고 있는데, 첨단운전자지원시스템(ADAS)의 대표적인 기능으로서 고속도로 주행지원 시스템(Highway Driving Assist System)이 있다.
고속도로 주행지원(HDA) 시스템은 고속도로에서 앞차와의 간격과 차선을 인식해 차량이 차선을 스스로 유지할 수 있도록 하는 장치로써, 차간거리제어(ASCC ; Advanced Smart Cruise Control), 차선유지제어(LKAS ; Lane Keeping Assist System), 내비게이션 정보(맵데이터, GPS 등)를 통합하여 고속도로에서 스스로 차간거리 및 차선을 유지할 수 있도록 하여 부분적인 자율운전을 가능케 할 수 있다.
최근에는 고속도로 주행지원(HDA) 시스템에서도 기존의 센서(예 : 레이더 센서, 라이다 센서) 대신 듀얼 카메라를 이용하여 계산한 거리를 바탕으로 고속도로 주행지원을 수행하는 연구가 진행되고 있다.
다만 기존의 거리 검출을 위해 사용하였던 센서(예 : 레이더 센서, 라이다 센서, 초음파 센서 등) 대신 듀얼 카메라만을 이용하여 고속도로 주행지원(HDA) 시스템을 구현할 경우, 즉, 듀얼 카메라를 이용하여 계산한 거리를 바탕으로 고속도로 주행을 지원하는 고속도로 주행지원 시스템을 제작하여 대상차량(자차)에 장착할 경우, 실제 도로를 주행하는 대상차량(자차)에 장착된 고속도로 주행지원 시스템이 다양한 상황(예 : 선행 차량 컷 인 상황, 선행 차량 컷 아웃 상황, 선행 차량 가속 상황, 대상 차량 가속 상황, 곡선 도로 주행 상황 등)에서 얼마나 안정적으로 동작할 수 있는지에 대한 성능을 평가할 수 있도록 장치가 필요한 상황이다.
??본 발명의 배경기술은 대한민국 공개특허 제10-2015-0053073호(2015.05.15. 공개, 차량 거리 검출 장치와 이를 수행하는 차량 거리 검출 장치 및 차량 거리 검출 시스템)에 개시되어 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 듀얼 카메라의 장착 위치를 높이와 간격 및 경사각 측면에서 결정하고, 듀얼 카메라를 이용하여 계산한 거리를 바탕으로 고속도로 주행을 보조하는 고속도로 주행지원(HDA : Highway Driving Assist) 시스템에 대한 성능을 평가할 수 있도록 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치는, 대상차량에 장착된 듀얼 카메라를 이용하여 선행차량과의 제1 상대거리를 계산하고, 대상차량과 횡방향 차선까지의 제1 차선거리를 계산하는 거리 계산부; 대상차량에 장착된 센서부의 센서를 기반으로 선행차량과의 제2 상대거리를 측정하고, 대상차량과 횡방향 차선까지의 제2 차선거리를 측정하는 거리 측정부; 및 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오별로 고속도로를 주행하는 상황에서 제1 상대거리와 제2 상대거리를 비교하고, 제1 차선거리와 제2 차선거리를 비교하여 시나리오별로 오차율을 계산하여 평가하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에서 거리 계산부는, 수학식 8을 이용하여 제1 상대거리를 계산하는 것을 특징으로 한다.
[수학식 8]
Figure pat00001
여기서, d는 상대거리, d0는 초기 상대거리, vTV는 선행차량 속도, vSV는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터이다.
본 발명에서 제1 차선거리는, 대상차량의 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리인 것을 특징으로 한다.
본 발명에서 제1 차선거리는, 듀얼 카메라의 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)의 평균거리인 것을 특징으로 한다.
본 발명에서 거리 계산부는, 수학식 13을 이용하여 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)를 계산하는 것을 특징으로 한다.
[수학식 13]
Figure pat00002
여기서, ψ는 대상차량의 헤딩각, Llw는 대상차량의 횡방향으로 좌측 차선과 우측 차선의 비율, dg는 카메라에서 촬영할 수 있는 지면의 최단 거리, Iwidth는 영상의 폭, b는 좌측카메라와 우측카메라의 설치 간격, Cwh는 카메라부터 차량 앞바퀴 중심까지의 거리이다.
본 발명은 대상차량의 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오를 저장하는 HDA 성능 평가 시나리오 저장부;를 더 포함하는 것을 특징으로 한다.
본 발명은 제어부에서 시나리오별로 오차율을 계산하고 평가한 결과를 저장하는 시나리오별 평가결과 저장부;를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법은, 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오별로 고속도로를 주행하는 상황에서, 거리 계산부가 대상차량에 장착된 듀얼 카메라를 이용하여 선행차량과의 제1 상대거리를 계산하는 단계; 거리 계산부가 대상차량에 장착된 듀얼 카메라를 이용하여 대상차량과 횡방향 차선까지의 제1 차선거리를 계산하는 단계; 거리 측정부가 대상차량에 장착된 센서부의 센서를 기반으로 선행차량과의 제2 상대거리를 측정하는 단계; 거리 측정부가 대상차량에 장착된 센서부의 센서를 기반으로 대상차량과 횡방향 차선까지의 제2 차선거리를 측정하는 단계; 및 제어부가 시나리오별로 제1 상대거리와 제2 상대거리를 비교하고, 제1 차선거리와 제2 차선거리를 비교하여 시나리오별로 오차율을 계산하여 평가하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서 제1 상대거리를 계산하는 단계는, 거리 계산부가 수학식 17을 이용하여 계산하는 것을 특징으로 한다.
[수학식 17]
Figure pat00003
여기서, d는 상대거리, d0는 초기 상대거리, vTV는 선행차량 속도, vSV는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터이다.
본 발명에서 제1 차선거리를 계산하는 단계에서 제1 차선거리는, 대상차량의 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리인 것을 특징으로 한다.
본 발명에서 제1 차선거리를 계산하는 단계에서 제1 차선거리는, 듀얼 카메라의 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)의 평균거리인 것을 특징으로 한다.
본 발명에서 제1 차선거리를 계산하는 단계는, 거리 계산부가 수학식 18을 이용하여 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)를 계산하는 것을 특징으로 한다.
[수학식 18]
Figure pat00004
여기서, ψ는 대상차량의 헤딩각, Llw는 대상차량의 횡방향으로 좌측 차선과 우측 차선의 비율, dg는 카메라에서 촬영할 수 있는 지면의 최단 거리, Iwidth는 영상의 폭, b는 좌측카메라와 우측카메라의 설치 간격, Cwh는 카메라부터 차량 앞바퀴 중심까지의 거리이다.
본 발명은 제어부가 시나리오별로 오차율을 계산하여 평가한 결과를 시나리오별 평가결과 저장부에 저장하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 제어 방법은, 차량용 듀얼 카메라 장착 시 차량 내 최적의 듀얼 카메라 장착 위치를 결정할 수 있도록 하고, 듀얼 카메라를 이용하여 계산한 거리를 바탕으로 고속도로 주행을 보조하는 고속도로 주행지원(HDA : Highway Driving Assist) 시스템에 대한 성능을 평가할 수 있도록 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템에 대한 신뢰성과 안정성의 향상에 기여할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치의 블럭 구성도.
도 2는 본 발명의 일 실시예에 따른 영상 보정부의 블럭 구성도.
도 3은 본 발명의 일 실시예에 따른 영상 왜곡 보정을 위한 체커보드 영상을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 보정된 영상을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 수평 스테레오 카메라 모델을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 차선 검출부의 블럭 구성도.
도 7은 본 발명의 일 실시예에 따른 차선 검출 과정을 도시한 순서도.
도 8은 본 발명의 일 실시예에 따른 차선 검출 과정의 영상.
도 9는 본 발명의 일 실시예에 따른 장착 위치 결정부의 블럭 구성도.
도 10은 본 발명의 일 실시예에 따른 장착 위치를 개념적으로 나타낸 도면.
도 11 내지 도 13은 본 발명의 일 실시예에 따른 카메라의 위치에 따른 영상을 나타낸 도면.
도 14 내지 도 16은 본 발명의 일 실시예에 따른 위치 선정에 따른 평균 오차율을 나타낸 도면.
도 17은 본 발명의 일 실시예에 따른 직선로에서의 전방 물체까지의 거리를 나타낸 도면.
도 18은 본 발명의 일 실시예에 따른 곡선로에서의 전방 물체까지의 거리를 나타낸 도면.
도 19는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치를 나타낸 블록 구성도.
도 20은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 횡방향 차선까지의 거리를 계산하기 위해 영상에서 검출된 차선을 나타낸 도면.
도 21은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 횡방향 차선까지의 거리를 계산하기 위해 영상에서 검출된 차선의 연장선을 나타낸 도면.
도 22는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 횡방향 차선까지의 거리를 계산하기 위한 도로상에서 대상차량의 기하학적 구조를 나타낸 도면.
도 23은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 성능평가을 위한 시나리오를 나타낸 테이블.
도 24는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 시나리오별로 평가한 상대거리 오차율 비교 테이블.
도 25는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 시나리오별로 평가한 횡방향 차선까지의 거리 오차율 비교 테이블.
도 26은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 제어 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저 일 측면에 따른 실시 예로서, 듀얼 카메라를 장착하기 위한 최적 위치를 결정하기 위한 장치와 방법에 대해서 설명하다.
도 1 은 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치의 블럭 구성도이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치는 2개의 카메라(10), 차선 검출부(30), 영상 보정부(40), 및 장착 위치 결정부(50)를 포함한다.
카메라(10)는 차량의 좌측과 우측에 각각 설치되어 차량 전방의 영상을 촬영한다.
도 2 는 본 발명의 일 실시예에 따른 영상 보정부의 블럭 구성도이고, 도 3 은 본 발명의 일 실시예에 따른 영상 왜곡 보정을 위한 체커보드 영상을 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 보정된 영상을 나타낸 도면이다. 도 5 는 본 발명의 일 실시예에 따른 평행 스테레오 카메라 모델을 나타낸 도면이다.
영상 보정부(40)는 카메라(10)에서 촬영된 영상을 보정한다.
도 2 를 참조하면, 영상 보정부(40)는 영상 왜곡 제거부(41), 영상 정류부(42), 및 초점거리 검출부(43)를 포함한다.
영상 왜곡 제거부(41)는 영상의 왜곡을 제거한다.
통상적으로, 카메라(10)로 획득한 영상에는 볼록렌즈의 굴절률에 의해 발생하는 방사왜곡(radial distortion) 및 카메라 제조과정에서 렌즈와 이미지 센서의 수평 문제 등으로 발생하는 접선왜곡(tangential distortion)이 존재한다. 이에, 영상 왜곡 제거부(41)는 영상의 가장자리에서 방사왜곡으로 인한 원형의 왜곡, 접선왜곡으로 인한 타원형의 왜곡을 보정한다.
이를 위해, 영상 왜곡 제거부(41)는 영상 속 각 픽셀에 해당하는 좌표를 왜곡시켰을 때, 왜곡 영상 속 대응되는 픽셀의 값을 보정된 영상 속 각 픽셀의 값으로 사용한다.
본 실시예에서는 영상처리를 위해 OpenCV의 내장된 체커보드 패턴 탐색 함수, 코너 점 탐색 함수, 및 카메라 캘리브레이션 함수를 사용한다. 보정된 영상을 얻기 위해 카메라(10)로 6x4 체커보드를 촬영하여 체커보드 내의 코너 점을 찾고, 얻은 점들로부터 카메라 매트릭스(matrix)와 왜곡 계수를 계산한다. 도 6 의 (a)는 원본 영상에서 코너 점을 찾은 영상이고, (b)는 왜곡을 제거한 영상이다.
영상 정류부(42)는 카메라(10)의 설치 과정 혹은 카메라 내부 파라미터 등으로 발생할 수 있는 수직 시차를 영상 정류 보정한다.
통상적으로, 평행식 스테레오 카메라 구성은 카메라(10) 및 렌즈의 광축이 평행한 두 카메라(10)를 이용하므로, 수직 시차가 없기 때문에 영상처리에 유리하다.
영상 정류는 듀얼 카메라의 영상 내의 픽셀 행을 일치시키기 위한 에피폴라 라인(epipolar line)을 찾은 후, 영상 속 임의의 물체를 동일한 수평 좌표를 갖게 하는 것이다.
본 실시예에는 영상처리를 위해 OpenCV의 내장된 스테레오 캘리브레이션 함수와 스테레오 정류 함수를 사용하고, 체커보드 패턴 탐색, 코너 점 탐색 듀얼 카메라의 캘리브레이션을 위해 영상 왜곡 제거 단계에서 사용된 체커보드 영상을 사용할 수 있다. 도 4 의 (a)와 같이 하나의 체커보드를 듀얼 카메라로 촬영해 얻은 한 쌍의 영상으로부터 내부 파라미터와 두 카메라(10)의 회전 매트릭스, 정류된 좌표계에서의 투영 행렬 등을 얻을 수 있다. 이를 이용하면 도 4 의 (b)와 같은 보정된 영상을 얻을 수 있다.
초점거리 검출부(43)는 거리 측정을 위한 초점거리를 검출한다. 거리 측정을 위해 두 개의 카메라(10)의 광축이 서로 평행하고 렌즈가 서로 지면으로부터 동일한 높이에 위치하여 동일선상에 있으며, 도 5 에 도시된 바와 같은 카메라(10)의 기하학적 구조와 삼각측량법을 이용함으로써, 카메라(10)의 위치부터 물체까지의 3차원 좌표를 수학식 1과 같이 계산할 수 있다.
Figure pat00005
여기서, X, Y, Z는 세계 좌표계상의 물체 좌표, f는 초점거리, b는 좌우 카 메라 사이의 간격, d는 시차, xl은 왼쪽 영상의 x좌표, xr은 오른쪽 영상의 x좌표, yl은 왼쪽 영상의 y좌표, yr은 오른쪽 영상의 y좌표이다.
한편, 초점거리는 Z축 좌표를 계산하기 위해 필요한 파라미터 중 하나지만, 고가의 카메라에 비해 값이 저렴한 웹캠의 경우 제조사에서 초점거리를 제공하지 않거나, 제공된 값과의 오차가 있을 수 있다. 또한 영상 보정을 거치면서 오차가 발생할 수 있기 때문에 값을 보정할 필요가 있다.
초점 거리 보정을 위하여 실제 데이터 기반으로 커브 피팅(curve fitting)을 수행할 수 있다. 수학식 1에 서 Z축 좌표 Z와 시차 d가 반비례관계라는 점을 이용하여, 수학식 2 를 얻을 수 있다.
Figure pat00006
Zactual은 실제거리이고, α,β는 초점 거리 보정을 통해 얻은 계수이며, d는 시차이다.
일 예로, 1m부터 5m까지 0.5m 간격으 로 설치된 물체를 촬영하고, 각 지점에서의 물체의 시차를 계산하며, 거리별 시차 데이터와 수학식 2를 활용해 최소제곱법을 사용한 커브 피팅을 수행하면 계수 α,β를 얻을 수 있다.
이러한 초점거리와 시차를 토대로 후술 하는 거리 검출부(51)에 의해 물체까지의 거리가 검출될 수 있다.
차선 검출부(30)는 2개의 카메라(10)에서 촬영된 영상에서 차선을 검출한다.
도 6 은 본 발명의 일 실시예에 따른 차선 검출부의 블럭 구성도이고, 도 7 은 본 발명의 일 실시예에 따른 차선 검출 과정을 도시한 순서도이며, 도 8 은 본 발명의 일 실시예에 따른 차선 검출 과정의 영상이다.
도 6 내지 도 8 을 참조하면, 차선 검출부(30)는 관심영역((region of interest)) 설정부(31), 직선 검 출 영상 추출부(32), 색상 검출 영상 추출부(33), 영상 원근 변환부(34), 차선 생성부(35), 및 차선 적용부(36)를 포함한다.
관심영역 설정부(31)는 영상이 입력되면 영상 내에서 차선이 위치할 수 있는 관심영역을 설정한다(S10,S20). 관심영역은 카메라로 취득한 영상에서 필요한 정보가 있 는 영역이다. 카메라가 자동차에 고정되면 도로에서 촬영되는 범위가 변하지 않기 때문에 관계없는 영역을 제거하여 필요한 영역만을 얻을 수 있다.
도 8 의 (a)는 고정된 좌측 카메라에서 입력되는 영상이며, 차선 검출이 가능한 영 상의 높이인 20%에서 50%를 관심영역으로 설정하면 도 8 의 (b)와 같이 얻 을 수 있다.
직선 검출 영상 추출부(32)는 관심영역 설정부(31)에 의해 설정된 관심영역 에 대한 영상 처리, 예컨대 그레이스케일(grayscale) 변환, 엣지 검출, 허프 변환 및 필터링을 통해 직선 검출 영상을 추출한다.
먼저, 직선 검출 영상 추출부(32)는 관심영역에 대한 그레이스케일 변환을 수행한다(S30). 즉, 직선 검출 영상 추출부(32)는 관심영역인 RGB 형식을 단일 채 널만을 가지는 흑백 영상으로 변환한다.
그레이스케일(grayscale) 변환은 3개의 채널로 구성된 RGB(Red, Green, Blue) 형식 영상을 하나의 채널로 구성된 단일 색상 영상으로 만든다. 변환된 영상은 밝기 정보만을 가지기 때문에 처리해야 할 데이터량이 1/3 수준으로 감소하여 연산 처리 속도 를 높일 수 있다.
도 8 의 (c)는 그레이스케일 변환을 수행한 영상으로서, R, G, B 채널 각각의 픽셀 값을 더해서 평균한 값으로 생성된 단일채널 영상이다 .
직선 검출 영상 추출부(32)는 노이즈 제거, 그라디언트 계산, 비최대 억제, 이력현상 임계화의 단계로 구성된 캐니 에지 검출기(canny edge detector)를 이용 하여 관심영역에서 엣지를 검출한다(S40).
캐니 에지 검출기는 에지 검출 알고리즘 중 하나이며, 노이즈(noise) 제거, 그라디언트(gradient)의 크기와 방향 계산, 비최대치 억제(non-maximum suppression), 이력 임계값(hysteresis threshold) 등의 단계를 거쳐 영상 내의 에지를 검출한다. 다단계 알고리즘으로 소벨 마스크(sobel mask)와 같은 미분 연산자만을 사용하는 방법보다 우수한 성능을 가진다.
도 8 의 (d)는 에지를 검출한 영상이다. 그리고 가우시안 필터(Gaussian filter)를 사용하여 노이즈를 제거 하고, 캐니 에지 검출기를 사용하여 에지가 검출된 영상을 생성하였다.
마지막으로, 직선 검출 영상 추출부(32)는 엣지 검출 영상에서 허프 변환(hough transform)을 통해 직선 성분을 추출한 후, 기울기를 계산하여 수평선 및 수직선 제거하고, 직선이 검출된 영상을 추출한다(S50).
허프 변환은 x-y 좌표계의 성분 을 r-θ 매개변수 공간의 성분으로 변환해서 표현하는 방법이다. x -y 좌표계의 직선과 점은 매개변수 공간에서 각각 점과 직선으로 표현되고, 매개변수 공간의 직선들이 교차하는 점을 이용하여 x-y 좌표계의 직선을 탐색할 수 있다.
도 8 의 (e)는 차선에 해당하는 직선을 얻은 영상이다. 에지가 검출된 영상에서 허프 변환을 이용하여 직선 성분을 검출하였다. 그리고 차선일 가능성이 낮은 수평선과 수직선을 제거하기 위해 획득한 직선의 기울기를 계산한 뒤, 기울기의 절대값이 5°이하인 직선을 제거하였다.
색상 검출 영상 추출부(33)는 관심영역에 대한 HSV(Hue, Saturation, Value) 형식 변환 및 색상 검출을 통해 색상 검출 영상을 추출한다.
즉, 색상 검출 영상 추출부(33)는 입력 영상인 RGB 형식을 색조, 채도, 명도 의 채널을 가지는 HSV 형식 영상으로 변환한다(S60).
HSV(Hue, Saturation, Value) 형식은 영상을 색상, 채도, 명도로 표현하는 색상 모델이다. 인간이 색상을 인식하는 방법을 응용한 모델이기 때문에 원하는 색상을 표현하는 것이 더 수월하다.
이어 색상 검출 영상 추출부(33)는 노란색에 해당하는 범위의 색조, 채도, 명도에 대한 범위값를 지정하고, 해당 범위 내의 픽셀이 검출된 색상 검출 영상을 추출한다(S70).
도 8 의 (f)는 도 8 의 (b)에서 노란색 픽셀을 추출한 영상이다. 영상을 RGB 형식에서 HSV형식으로 변환한 후, 노란색 범위를 설정하였다. 색상, 채도, 명도의 범위는 0에서 1사이의 값으로 정규화했을 때, 색상의 범위는 0부터 0.1과 0.9부터 1까지, 채도의 범위는 0.12부터 1까지 해당한다. 명도의 값은 영상 평균 밝기의 1/3를 사용하였다. 그리고 영상에서 범위에 해당하는 값을 가진 픽셀은 255, 그렇지 않으면 0의 값을 가지도록 하였다.
영상 원근 변환부(34)는 직선 검출 영상 추출부(3 2)에 의해 추출된 직선이 검출된 영상과 색상 검출 영상 추출부(33 )에 의해 추출된 색상이 검출된 영상을 결합하고 원근감이 제거된 효과를 갖는 영상을 획득한다.
즉, 영상 원근 변환부(34)는 직선 검출 영상 추출부(32)에 의해 추출된 직선이 검출된 영상과 색상 검출 영상 추출부(33)에 의해 추출된 색상이 검출된 영상을 기 설정된 비율 예를 들어 8:2의 가중치로 결합한다(S80).
도 8 의 (g)는 차선 후보에 해당하는 픽셀을 얻기 위해 직선을 추출한 영상과 색상을 추출한 영상을 결합한 영상이다. 도 8 의 (c)의 영상을 0.8, 도 8 의 (d)의 영상을 0.2의 가중치를 주어 결합한 영상이다.
이어 영상 원근 변환부(34)는 상기한 바와 같이 결합된 영상에 대한 4개의 좌표와 변환 영상에 대한 4개의 좌표로 계산된 변환행렬을 입력 영상에 적용하여, 원근감이 제거된 효과를 갖는 영상을 획득한다(S90).
원근 변환은 3x3의 변환행렬을 사용해서 호모그래피(homography)로 모델링할 수 있는 변환이다. 영상의 픽셀의 위치를 이동하는 기하학적 처리 기법을 통해 원근감이 제거된 영상을 얻을 수 있다.
차선 생성부(35)는 이전 프레임의 차선 검출 여부에 따라, 영상 원근 변환부(34)에 의해 변환된 영상의 전체 영역에서 차선 후보를 탐색하거나 차선 곡선 영역에서 차선 후보를 탐색한다.
즉, 차선 생성부(35)는 이전 프레임에서 차선이 검출되면, 영상 원근 변환 부(34)에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고, 획득한 차선 곡선의 인근 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색한다(S110).
반면에, 차선 생성부(35)는 이전 프레임에서 차선이 검출되지 않으면, 영상 원근 변환부(34)에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고, 전 체 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색한다(S120).
도 8 의 (h)는 도 8 의 (g)의 영상에서 원근감을 제거한 뒤, 슬라이딩 윈도우(sli nding window)를 사용해서 차선 후보를 획득한 영상이다. 관심영역에서 설정한 차선 상의 4개의 점은 와핑(warping)된 영상에서 (300, 648), (300, 0), (780, 0), (780, 648)의 점으로 이동시켜 일직선이 되도록 하였다. 그리고 폭이 영상의 1/20, 높이가 영상의 1/6인 54픽셀 크기의 정사각형 윈도우를 설정하고, 슬라이딩 윈도우 방법을 통해 가장 큰 픽셀 합을 가지는 윈도우를 찾았다.
슬라이딩 윈도우 기법이란 윈도우(window)라고 불리는 특정 크기의 하위 배열을 사용하고, 배열 전체에서 각각의 윈도우 내의 요소들을 계산할 때마다, 중복된 요소를 버리지 않고 재사용하여 연산량을 줄이는 방법이다.
도 8 의 (i)는 차선 후보 픽 셀로부터 2차 곡선 적합을 통해 차선 곡선을 생성한 영상이다. 도 8 의 (h)에서 좌우 차선의 각각 6개의 윈도우로부터 얻은 차선 후보 픽셀의 위치와 최소자승법을 사용하여 2차 곡선에 적합하면 차선 곡선을 생성 할 수 있다.
차선 생성부(35)는 각 윈도우에서 차선 후보의 픽셀에 대한 좌표를 얻고, 해 당 좌표를 2차 곡선에 적합하여 차선 곡선을 생성한다(S130).
이어 차선 생성부(35)는 생성된 차선 곡선을 원근 변환을 통해 입력 영상에 적용하여 차선이 검출된 영상을 획득한다(S140).
도 8 의 (j)는 입력영상에서 차선을 검출한 영상이다. 획득한 차선 곡선을 원근 변환을 통해 입력 영상에 적용하면 차선이 검출된 영상을 얻을 수 있다.
도 9 는 본 발명의 일 실시예에 따른 장착 위치 결정부의 블럭 구성도이고, 도 10 은 본 발명의 일 실시예에 따른 장착 위치를 개념적으로 나타낸 도면이며, 도 11 내지 도 13 은 본 발명의 일 실시예에 따른 카메라의 위치에 따른 영상을 나타낸 도면이며, 도 14 내지 도 16 은 본 발명의 일 실시예에 따른 위치 선정에 따 른 평균 오차율을 나타낸 도면이다.
장착 위치 결정부(50)는 차선 검출부(30)에 의해 검출된 차선을 통해 차선의 직선로 또는 곡선로에서의 곡률, 및 영상 보정부(40)를 통해 획득된 시차를 이용하여 전방 물체까지의 거리를 측정하고, 측정된 거리와 실제 거리 간의 오차율을 기반으로 카메라 의 장착 위치를 결정한다.
장착 위치 결정부(50)는 거리 검출부(51), 위치 판정부(52), 및 변수 조정부(53)를 포함한다.
카메라(10)의 장착 위치는 도 10 에 도시된 바와 같이 차량의 전방 양측이다. 카메라(10)의 장착 위치는 카메라(10)의 높이와 간격 및 각도(경사각)로 정의 될 수 있으며 이들 변수를 보정함으로써 최적의 장착 위치가 결정될 수 있다.
따라서, 차량에 따라 카메라(10)의 높이와 간격 및 각도별로 높이 설정범위, 간격 설정범위 및 각도 설정범위가 설정되고, 이들 각각의 설정범위 내에서 카메 라(10)의 장착 위치가 결정될 수 있다.
본 실시예에서는 지면을 기준으로 거리를 측정한다. 카메라(10)의 장착 높이가 낮을수록 영상 내에 촬영되는 지면 영역이 늘어난다. 따라서 카메라(10)의 장착 높이도 취득영상의 영역 결정에 중요한 영향을 미친다.
예컨대, 높이는 높이 설정범위 내에서 30cm, 40cm, 50cm로 선정되는 것을 예시로 설명한다.
일반 승용차의 경우 범퍼의 지면으로부터 최소 30cm 이상 떨어져 있기 때문에, 높이의 최소값은 30cm으로 선정될 수 있다. 그리고 높이가 50cm보다 큰 경우 1m 이내의 지면 촬영이 힘들기 때문에 높이의 최대값은 50cm로 선정될 수 있다. 도 11 의 (a)는 카메라(10)의 설치 간격 30cm, 각도 12°인 경우, 높이가 각각 30cm, 40cm, 50cm일 때의 입력 영상이다.
수학식 1은 카메라(10)의 기하학적 구조와 삼각측량법을 기반으로 만들어진 수학식이다. 따라서 카메라(10) 사이의 간격은 거리 측정에 미치는 영향이 크다.
간격은 간격 설정범위 내에서 10cm, 20cm, 30cm로 선정되는 것을 예시로 설명한다. 카메라(10)를 배치할 때, 물리 적으로 가능한 최소 간격이 10cm이기 때문에 최소값은 10cm로 선정될 수 있다. 또한, 높이는 경향성을 확인하기 위해 10cm 간격으로 30cm 까지 3개의 값이 선정될 수 있다. 도 12 는 카메라(10)의 설치 높이 40cm, 각도 12°인 경우, 간격이 각각 10cm, 20cm, 30cm일 때의 입력 영상이다.
카메라(10)가 지면과 수평으로 설치될 경우, 수직 화각이 작은 카메라(10)는 근거리의 지면을 촬영하지 못할 수 있다. 따라서 카메라(10)가 경사각 θ만큼 기울어져 설치되면, 근거리의 지면을 촬영할 수 있기 때문에 카메라(10)의 설치 각도는 중요하다.
각도는 각도 설정범위 내에서 3°, 7°, 12°로 선정되는 것을 예시로 설명 한다. 높이가 50cm일 때, 각도 3°보다 작은 경우 1m 이내의 지면 촬영이 어렵기 때문에 각도의 최소값은 3°로 선정될 수 있다. 각도가 클수록 영상 내의 도로영역 이 증가하는데, 차량의 흔들림이나 경사로 등 존재할 경우 도로의 상단이 촬영되지 않을 가능성이 있다. 각도가 12°일 때 영상 높이의 20%부터 80%까지 도로영역이 되기 때문에, 각도의 최대값은 12°로 선정될 수 있다. 도 13 은 카메라(10)의 설 치 높이 40cm, 간격 30cm인 경우, 각도가 각각 3°, 7°, 12°일 때의 입력 영상이 다.
거리 검출부(51)는 상기한 변수, 즉 높이와 간격 및 각도별로 차량으로부터 물체까지의 거리를 복수 회에 걸쳐 측정한다. 거리 검출부(51)는 촬영된 영상으로 영상 보정부(40)의 시차와 수학식 2를 통해 물체까지의 거리를 측정한다.
위치 판정부(52)는 높이와 간격 및 각도별로 거리 검출부(51)에 의해 측정된 거리를 실제 거리와 각각 비교하여 오차율을 검출하고 검출된 오차율과 기 설정된 기준 오차율을 비교하여 비교 결과에 따라 최적의 장착 위치를 결정한다.
이 경우, 위치 판정부(52)는 오차율이 기 설정된 기준 오차율 미만인지에 따라 현재의 높이와 간격 및 각도를 최적의 장착 위치로 결정한다. 위치 판정부(52) 는 오차율이 기준 오차율 미만이면 듀얼 카메라의 현재 위치를 최종 위치로 판정한 다. 반면에, 오차율이 기준 오차율 이상이면, 변수 조정부(53)에 의해 변수가 조정 된다.
변수 조정부(53)는 위치 판정부(52)에 검출된 오차율이 기준 오차율 이상이 면 높이와 간격 및 각도 중 적어도 하나를 조정한다. 변수 조정부(53)는 조정된 듀 얼 카메라의 높이와 간격 및 각도를 별도의 디스플레이기기를 통해 출력한다. 이에 따라 사용자는 조정된 변수를 참고하고 듀얼 카메라의 장착 위치를 변경한다. 이 때, 거리 검출부(51)는 조정된 변수를 토대로 물체까지의 거리를 검출한다.
예를 들어, 각 카메라(10)를 자동차에 장착하고, 실제도로에서 1m부터 5m까지 0.5m 간격으로 물체를 설치하고, 거리 검출부(51)를 통해 측정한 결과는 도 14 내지 도 16 과 같다.
도 14 는 높이가 30cm일 때의 시험결과이고, 도 14 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 14 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 3° 의 13.28%, 12°의 4.14%, 12°의 8.34%이다.
도 15 는 높이가 40cm일 때의 시험결과이다. 도 15 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 15 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 3°의 5.55%, 7 °의 5.49%, 12°의 0.86%이다.
도 16 은 높이가 50cm일 때의 시험결과이다. 도 16 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 16 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 7°의 3.77%, 7°의 2.45%, 12°의 1.32%이다.
도 14 내지 도 16 을 참고하면, 각도가 클수록 오차율이 감소하고, 간격이 넓을수록 오차율이 감소하며, 높이가 30cm에서 40cm로 높이가 증가할 때 오차율이 감소하고, 50cm로 증가할 때 오차율이 다시 증가한다.
이에, 변수 조정부(53)는 상기한 오차율의 변화를 토대로 각도와 간격 및 높이 중 적어도 하나를 선택적으로 조정한다.
상기한 분석 결과, 카메라(10)의 장착 위치는 높이 40cm, 간격 30 cm, 각도 12°에서 가장 우수하다.
한편, 거리 검출부(51)는 직선로와 곡선로에서의 전방 물체까지의 거리를 각각 검출할 수 있다.
도 17 은 본 발명의 일 실시예에 따른 직선로에서의 전방 물체까지의 거리를 나타낸 도면이고, 도 18 은 본 발명의 일 실시예에 따른 곡 선로에서의 전방 물체까지의 거리를 나타낸 도면이다.
거리 검출부(51)는 초점 거리 보정을 통해 획득한 계수 α를 초점거리 f로 사용하여 수학식 1에 대입하면 물체의 Z축 좌표를 얻을 수 있다. 하지만 시험에서 는 근접 거리의 지면을 촬영하기 위하여 카메라(10)를 장착할 때 경사각 θ를 가지도록 한다. 즉, 카메라(10) 광축과 지면이 평행하지 않는다.
지면에서 카메라 위치부터 물체까지의 Z축 좌표를 계산하기 위해서는 수학식 1에 경사각 θ를 고려해 수학식 3과 같이 계산할 수 있다.
Figure pat00007
여기서, Xg , Yg, Zg는 지면에서 물체의 X,Y,Z축 좌표이고, θ는 카메라(10)의 각도이며, h는 카메라(10)의 높이이다.
도 17 과 같은 직선로에서는 카메라(10)부터 전 방 물체까지의 거리는 종방향 수직거리만 요구하기 때문에
Figure pat00008
를 전방 물체까지의 거리로 사용할 수 있다.
도 18 과 같은 곡선로에서는 전방 물체까지 의 거리를 측정하기 위해 도로의 곡률반경을 고려해야 한다.
따라서, 거리 검출부(51)는 물체의 X축 좌표와 Z축 좌표를 이용하여 수직 거리를 구한 뒤, 곡률반경을 고려하여 전방 물체까지의 거리를 계산한다.
카메라 위치와 전방물체까지의 수직거리는 수학식 (4)와 같이 계산된다.
Figure pat00009
여기서, chord는 자동차와 물체 사이의 수직거리이고, Xg1, Yg1은 지면상에서 자동차의 x, y 좌표이며, Xg2, Yg2는 지면상에서 물체의 x, y 좌표이다.
\*131곡률중심을 중심으로 가지고, 카메라(10)의 위치부터 전방물체까지의 수직거리를 현(chord)으로 가지는 부채꼴의 중심각 φ는 수학식 5와 같이 계산된다.
Figure pat00010
여기서, φ는 자동차와 물체 사이의 각도(부채꼴의 중심각), R은 도로의 곡률반경이다.
부채꼴의 중심각 φ와 곡률반경 R이용하여 계산된 원의 호(arc)의 길이는 수학식 6과 같이 계산된다.
Figure pat00011
여기서, arc는 곡률반경을 고려한 자동차와 물체 사이의 거리이다.
곡선로에서 차량부터 전방물체까지의 거리는 곡률중심과 물체의 3차원 위치를 고려하여 계산될 수 있으며, 호가 카메라 위치부터 전방물체까지의 거리로 결정 될 수 있다.
곡률반경의 유무에 따라 직선로와 곡선로에 따라 다른 수식을 제안하였다 . 제안된 수식에서 곡선로에서 곡률반경이 클수록 직선로 거리 측정식과 곡선로 거리 측정 식의 차이가 감소한다. 따라서 곡률반경이 일 정 값을 이상이면 직선로로 결정하고 그렇지 않으면 곡선로로 결정한 뒤, 수식을 적용한다. 곡률반경이 1293m일 때 오차율이 0.1% 이하가 된다. 따라서 제안하는 수식은 1293m를 기준점으로 사용하였고, 수학 식 7과 같이 표현된다.
Figure pat00012
여기서, Zt는 카메라(10)로부터 전방의 물체까지의 이론적 거리이다.
실차시험은 전방 거리 측정 식의 평가을 위해, 듀얼 카메라를 선정한 최적 위치(높이 40cm, 간격 30cm, 각도 12°)에 장착 후 진행하였다.
시험을 진행한 직선도 로와 곡선도로이다. 곡선도로의 경우, 곡률 반지름은 69m이고, 곡률 반지름이 80m 이하인 곡선도로에서 진행되었다. 직선도로의 경우, 자 동차 전방 10m부터 40m까지 10m 간격으로 설치된 장애물에 대해, 정지 상태와 주 행 상태를 구분하였다. 곡선도로의 경우, 도로의 중심과 좌우 차선에 장애물을 설치하고, 6m에서 21m까지 5m 간격으로 설치된 장애물에 대해, 정지 상태와 주행 상태를 구분하여 총 4가지 경우에 대해 시험을 진행하였다.
객관적인 데이터 취득을 위해 동일한 장비를 활용하여 3회 반복 시험하였다. 직선로 정지 상태의 경우, 10m 지점부터 40m 지점까지 모두 물체를 식별할 수 있었으며, 최대 오차는 30m 지점에서 2.29%로 나타났다.
직선로 주행 상태의 경우, 10m 지점부터 20m 지점까지 물체를 식별할 수 있었으며, 30m 지점 이상부터는 물체를 식별할 수 없었다. 이는 주행 중 발생하는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등의 영향으로 판단하였으며, 최대 오차는 20m 지점에서 5.35%로 나타났다.
곡선로 정지 상태의 경우, 5m 지점부터 20m 지점까지 물체를 식별할 수 있었으며, 최대 오차는 20m 지점에서 1.65%로 나타났다.
\*147곡선로 주행 상태의 경우, 5m 지점에서 15m 지점까지 물체를 식별할 수 있었으며, 20m 지점에서는 물체를 식별할 수 없었다. 이는 주행 중 발생하는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등의 영향으로 판단하였으며, 최대 오차는 6m 지점에서 9.40%로 나타났다.
시험결과, 물체와의 거리 측정의 오차는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등으로 인하여 전방물체가 부정확하게 검출될 때 오차가 증가하는 경향을 보인다. 그리고 곡선로 주행 상태의 경우 오차가 직선로와 비교해서 비교적 큰 경향을 보이는데, 이는 계산과정에서 사용된 고정된 곡률반경이 영향을 미친 것으로 판단된다.
이와 같이, 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결 정 장치는 차량 내 최적의 듀얼 카메라 장착 위치를 결정할 수 있다.
이상으로 상기와 같이 차량 내 최적의 듀얼 카메라 장착 위치를 결정하고, 상기 결정된 위치에 장착된 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능을 평가하는 장치와 그 제어 방법에 대해서 설명한다.
도 19는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치를 나타낸 블록 구성도이고, 도 20은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 횡방향 차선까지의 거리를 계산하기 위해 영상에서 검출된 차선을 나타낸 도면이며, 도 21은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 횡방향 차선까지의 거리를 계산하기 위해 영상에서 검출된 차선의 연장선을 나타낸 도면이고, 도 22는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 횡방향 차선까지의 거리를 계산하기 위한 도로상에서 대상차량의 기하학적 구조를 나타낸 도면이며, 도 23은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 성능평가을 위한 시나리오를 나타낸 테이블이다.
도 19에 도시된 바와 같이 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치는 거리 계산부(60), 거리 측정부(70) 및 제어부(90)를 포함하며 HDA 성능평가 시나리오 저장부(100) 및 시나리오별 평가결과 저장부(110)를 포함할 수 있다.
거리 계산부(60)는 대상차량에 장착된 듀얼 카메라(5)를 이용하여 선행차량과의 제1 상대거리를 계산할 수 있다.
즉, 거리 계산부(60)는 수학식 8을 이용하여 제1 상대거리를 계산할 수 있다.
Figure pat00013
여기서, d는 상대거리, d0는 초기 상대거리, vTV는 선행차량 속도, vSV는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터이다.
이때 수학식 8은 다음 수학식 9 내지 수학식 11을 이용하여 유도할 수 있으며, 수학식 9는 목표 상대거리 식(목표가속도와 관련된 거리 정보)이며, 수학식 10은 대상차량과 선행차량 간의 시간차 산출 식이며, 수학식 11은 대상차량과 선행차량 간의 속도 차이 관계를 나타내는 식이다.
Figure pat00014
Figure pat00015
Figure pat00016
여기서, ddes는 목표 상대거리, d0는 초기 상대거리, vTV 및 vf는 선행차량 속도, vSV는 대상차량 속도, V는 대상차량과 선행차량 간 속도차, τ는 시간차, tfront는 대상차량과 선행차량 간의 시간차를 나타내며, 0.2, 2.9, 및 36.1은 보정 파라미터이다.
이와 같이 상대거리 수식의 유도과정에서 수식을 단순화하여 초기 상대거리와 속도차 만으로 목표 상대거리를 계산하며, 유도 및 보정과정에서 실험적으로 상수 0.2, 2.9 및 36.1이 보정 파라미터로 도출된다.
또한, 거리 계산부(60)는 대상차량과 횡방향 차선까지의 제1 차선거리를 계산할 수 있다.
여기서 제1 차선거리는, 대상차량의 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리로써, 오차를 줄이기 위해 수학식 12와 같이 좌측카메라(10)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라(20)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)의 평균거리로 산출할 수 있다.
Figure pat00017
이때, 거리 계산부(60)는 수학식 13을 이용하여 좌측카메라(10)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라(20)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)를 계산할 수 있다.
Figure pat00018
여기서, ψ는 대상차량의 헤딩각, Llw는 대상차량의 횡방향으로 좌측 차선과 우측 차선의 비율, dg는 카메라에서 촬영할 수 있는 지면의 최단 거리, Iwidth는 영상의 폭, b는 좌측카메라와 우측카메라의 설치 간격, Cwh는 카메라부터 차량 앞바퀴 중심까지의 거리이다.
이와 같이 듀얼 카메라(5)를 통해 입력된 영상으로부터 대상차량과 횡방향 차선까지의 제1 차선거리를 유도하기 위한 변수를 정의하면, 도 20과 도 21에 도시된 바와 같이 영상에서 검출된 차선과 차선의 연장선으로부터 영상의 폭과 높이, 소실점과 중심점의 좌표 및 왼쪽 차선과 오른쪽 차선의 연장선 좌표를 정의할 수 있다.
여기서, Iwidth는 영상의 폭[pixel], Iheight는 영상의 높이[pixel], A(x1, y1)는 영상에서 검출된 소실점의 좌표[pixel], B(x2, y2)는 영상에서 검출된 중심점의 좌표[pixel], C(x3, y3)는 y3가 Iheight일 때 왼쪽 차선의 연장선 좌표[pixel], D(x4, y4)는 y4가 Iheight일 때 오른쪽 차선의 연장선 좌표[pixel]이다.
또한, 도 22에 도시된 바와 같이 횡방향 차선까지의 거리를 계산하기 위한 도로상에서 대상차량의 기하학적 구조를 나타낼 수 있다.
여기서, ψ는 차량의 헤딩각[degree], b는 듀얼 카메라의 설치 간격[cm], Cw는 차량의 전폭[cm], Cwh는 카메라부터 차량 앞바퀴 중심까지의 거리[cm], θv는 카메라의 수평 화각[degree], dleft는 차량의 왼쪽 앞바퀴부터 좌측 차선까지의 수직 거리[cm], dright는 차량의 오른쪽 앞바퀴부터 차선까지의 수직 거리[cm], h는 카메라의 설치 높이, α는 카메라의 설치 각도, θv는 카메라의 수직 화각, dl은 카메라에서 검출되는 지면의 최단 검출 거리를 의미한다.
이와 같은 도로상에서 대상차량의 기하학적 구조를 기반으로 수학식 13은 수학식 14 내지 수학식 16을 이용하여 유도할 수 있으며, 수학식 14는 헤딩각 계산식이고, 수학식 15는 차폭과 좌측 차선까지의 거리 비율 식이며, 수학식 16은 촬영되는 지면의 최단 거리 계산식이다.
Figure pat00019
Figure pat00020
Figure pat00021
이를 보다 구체적으로 설명하면, 듀얼 카메라(5)를 통해 촬영된 영상으로부터 차선을 검출한 후 검출된 차선을 기반으로 소실점 A와 중심점 B를 검출하고, 검출된 차선의 연장선을 이용하여 y=Iheight일 때의 C점과 D점을 검출한다.
그런 다음 수학식 14를 사용하여 헤딩각을 계산하고, 수학식 15를 이용하여 차폭과 좌측 차선까지의 거리 비율을 통해 좌측 차선까지의 거리를 계산하고, 수학식 16을 이용하여 촬영되는 지면의 최단거리를 계산하여 수학식 13을 사용하여 좌측카메라(10)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라(20)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)를 각각 계산한다.
그런 다음 수학식 12와 같이 좌측카메라(10)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라(20)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)의 평균거리로 대상차량의 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리인 제1 차선거리를 계산할 수 있다.
거리 측정부(70)는 대상차량에 장착된 센서부(80)로부터 측정되는 신호를 기반으로 선행차량과의 제2 상대거리를 측정하고, 대상차량과 횡방향 차선까지의 제2 차선거리를 측정할 수 있다.
여기서, 센서부(80)는 라이다 센서, 레이더 센서, 초음파 센서 및 GPS 센서를 포함할 수 있다.
제어부(90)는 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오별로 고속도로를 주행하는 상황에서 제1 상대거리와 제2 상대거리를 비교하고, 제1 차선거리와 제2 차선거리를 비교하여 시나리오별로 오차율을 계산하여 평가할 수 있다.
HDA 성능평가 시나리오 저장부(100)는 대상차량의 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오를 저장할 수 있다.
즉, 도 23에 나타낸 테이블과 같이 고속도로 주행지원(HDA) 시스템에서의 거리계산 성능을 평가하기 위한 시나리오로써, 선행차량의 유무와 거동, 곡률반경의 크기, 톨게이트의 유무 등 13가지의 시나리오로 분류할 수 있다.
따라서, 제어부(90)는 HDA 성능평가 시나리오 저장부(100)에 저장된 시나리오별로 고속도를 주행하는 상황에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가할 수 있다.
그리고, 시나리오별 평가결과 저장부(110)는 제어부(90)에서 시나리오별로 오차율을 계산하고 평가한 결과를 저장할 수 있다.
도 24는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 시나리오별로 평가한 상대거리 오차율 비교 테이블이고, 도 25는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에서 시나리오별로 평가한 횡방향 차선까지의 거리 오차율 비교 테이블이다.
이와 같이 듀얼 카메라를 이용하여 계산한 대상차량과 선행차량과의 제1 상대거리에 대한 시나리오별 평가결과를 살펴보면, 최대 오차율은 대부분 10% 이내이고, 평균 오차율은 5% 이내임을 알 수 있다.
또한, 듀얼 카메라를 이용하여 계산한 대상차량과 횡방향 차선까지의 제1 차선거리를 시나리오별 평가결과를 살펴보면, 최대 오차율은 10% 이내이고, 평균 오차율은 6% 이내임을 알 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치에 따르면, 차량용 듀얼 카메라 장착 시 차량 내 최적의 듀얼 카메라 장착 위치를 결정할 수 있도록 하고, 듀얼 카메라를 이용하여 계산한 거리를 바탕으로 고속도로 주행을 보조하는 고속도로 주행지원(HDA : Highway Driving Assist) 시스템에 대한 성능을 평가할 수 있도록 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템에 대한 신뢰성과 안정성의 향상에 기여할 수 있도록 한다.
도 26은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법을 설명하기 위한 흐름도이다.
도 26에 도시된 바와 같이 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법에서는 먼저, 제어부(90)가 고속도로 주행지원 시스템에서 듀얼 카메라(5)를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오별로 고속도로를 주행하는지 판단한다(S210).
S210 단계에서 시나리오별로 고속도로를 주행하는 경우, 거리 계산부(60)는 대상차량에 장착된 듀얼 카메라(5)를 이용하여 선행차량과의 제1 상대거리를 계산한다(S220).
여기서, 거리 계산부(60)는 수학식 17을 이용하여 제1 상대거리를 계산할 수 있다.
Figure pat00022
여기서, d는 상대거리, d0는 초기 상대거리, vTV는 선행차량 속도, vSV는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터이다.
이때 수학식 17은 위에서 설명한 바와 같이 수학식 9 내지 수학식 11을 이용하여 유도할 수 있으며, 수학식 9는 목표 상대거리 식(목표가속도와 관련된 거리 정보)이며, 수학식 10은 대상차량과 선행차량 간의 시간차 산출 식이며, 수학식 11은 대상차량과 선행차량 간의 속도 차이 관계를 나타내는 식이다.
또한, 거리 계산부(60)는 대상차량과 횡방향 차선까지의 제1 차선거리를 계산한다(S230).
여기서 제1 차선거리는, 대상차량의 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리로써, 오차를 줄이기 위해 좌측카메라(10)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라(20)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)의 평균거리로 산출할 수 있다.
이때, 거리 계산부(60)는 수학식 18을 이용하여 좌측카메라(10)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라(20)를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)를 계산할 수 있다.
Figure pat00023
여기서, ψ는 대상차량의 헤딩각, Llw는 대상차량의 횡방향으로 좌측 차선과 우측 차선의 비율, dg는 카메라에서 촬영할 수 있는 지면의 최단 거리, Iwidth는 영상의 폭, b는 좌측카메라와 우측카메라의 설치 간격, Cwh는 카메라부터 차량 앞바퀴 중심까지의 거리이다.
이때 수학식 18은 위에서 설명한 바와 같이 도 20과 도 21에 도시된 영상에서 검출된 차선과 도 22에 도시된 도로상에서 대상차량의 기하학적 구조를 기반으로 수학식 14 내지 수학식 16을 이용하여 유도할 수 있으며, 수학식 14는 헤딩각 계산식이고, 수학식 15는 차폭과 좌측 차선까지의 거리 비율 식이며, 수학식 16은 촬영되는 지면의 최단 거리 계산식이다.
또한, 거리 측정부(70)는 대상차량에 장착된 센서부(80)의 센서를 기반으로 선행차량과의 제2 상대거리를 측정하고(S240), 대상차량과 횡방향 차선까지의 제2 차선거리를 측정한다(S250).
여기서, 센서부(80)는 라이다 센서, 레이더 센서, 초음파 센서 및 GPS 센서를 포함할 수 있다.
이와 같이 듀얼 카메라(5)를 이용하여 제1 상대거리와 제1 차선거리를 계산하고, 센서부(80)의 센서들을 기반으로 측정한 제2 상대거리와 제2 차선거리를 입력받은 제어부(90)는 시나리오별로 고속도로를 주행하는 상황에서 제1 상대거리와 제2 상대거리를 비교하고, 제1 차선거리와 제2 차선거리를 비교하여 시나리오별로 오차율을 계산하여 평가한다(S260).
그리고, 제어부(90)는 시나리오별로 오차율을 계산하고 평가한 결과를 시나리오별 평가결과 저장부(110)에 저장할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법에 따르면, 차량용 듀얼 카메라 장착 시 차량 내 최적의 듀얼 카메라 장착 위치를 결정할 수 있도록 하고, 듀얼 카메라를 이용하여 계산한 거리를 바탕으로 고속도로 주행을 보조하는 고속도로 주행지원(HDA : Highway Driving Assist) 시스템에 대한 성능을 평가할 수 있도록 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템에 대한 신뢰성과 안정성의 향상에 기여할 수 있도록 한다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 카메라 30 : 차선 검출부
31 : 관심영역 설정부 32 : 그레이스케일 변환부
33 : HSV 형식 변환부 34 : 에지 검출부
35 : 필터링부 36 : 차선 인식부
40 : 영상 보정부 41 : 영상 왜곡 제거부
42 : 영상 정류부 43 : 초점거리 검출부
50 : 장착 위치 결정부 51 : 거리 검출부
52 : 오차율 검출부 53 : 변수 조정부
60 : 거리 계산부 70 : 거리 측정부
80 : 센서부 90 : 제어부
100 : HDA 성능평가 시나리오 저장부
110 : 시나리오별 평가결과 저장부

Claims (13)

  1. 대상차량에 장착된 듀얼 카메라를 이용하여 선행차량과의 제1 상대거리를 계산하고, 상기 대상차량과 횡방향 차선까지의 제1 차선거리를 계산하는 거리 계산부;
    상기 대상차량에 장착된 센서부의 센서를 기반으로 상기 선행차량과의 제2 상대거리를 측정하고, 상기 대상차량과 횡방향 차선까지의 제2 차선거리를 측정하는 거리 측정부; 및
    고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오별로 고속도로를 주행하는 상황에서 상기 제1 상대거리와 상기 제2 상대거리를 비교하고, 상기 제1 차선거리와 상기 제2 차선거리를 비교하여 상기 시나리오별로 오차율을 계산하여 평가하는 제어부;를 포함하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치.
  2. 제 1항에 있어서, 상기 거리 계산부는, 수학식 8을 이용하여 상기 제1 상대거리를 계산하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치.
    [수학식 8]
    Figure pat00024

    여기서, d는 상대거리, d0는 초기 상대거리, vTV는 선행차량 속도, vSV는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터이다.
  3. 제 1항에 있어서, 상기 제1 차선거리는, 상기 대상차량의 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리인 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치.
  4. 제 3항에 있어서, 상기 제1 차선거리는, 상기 듀얼 카메라의 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)의 평균거리인 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치.
  5. 제 4항에 있어서, 상기 거리 계산부는, 수학식 13을 이용하여 상기 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 상기 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)를 계산하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치.
    [수학식 13]
    Figure pat00025

    여기서, ψ는 대상차량의 헤딩각, Llw는 대상차량의 횡방향으로 좌측 차선과 우측 차선의 비율, dg는 카메라에서 촬영할 수 있는 지면의 최단 거리, Iwidth는 영상의 폭, b는 좌측카메라와 우측카메라의 설치 간격, Cwh는 카메라부터 차량 앞바퀴 중심까지의 거리이다.
  6. 제 1항에 있어서, 상기 대상차량의 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오를 저장하는 HDA 성능 평가 시나리오 저장부;를 더 포함하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치.
  7. 제 1항에 있어서, 상기 제어부에서 상기 시나리오별로 오차율을 계산하고 평가한 결과를 저장하는 시나리오별 평가결과 저장부;를 더 포함하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치.
  8. 고속도로 주행지원 시스템에서 듀얼 카메라를 이용하여 계산한 거리의 성능을 평가하기 위한 시나리오별로 고속도로를 주행하는 상황에서, 거리 계산부가 대상차량에 장착된 듀얼 카메라를 이용하여 선행차량과의 제1 상대거리를 계산하는 단계;
    상기 거리 계산부가 상기 대상차량에 장착된 상기 듀얼 카메라를 이용하여 상기 대상차량과 횡방향 차선까지의 제1 차선거리를 계산하는 단계;
    거리 측정부가 상기 대상차량에 장착된 센서부의 센서를 기반으로 상기 선행차량과의 제2 상대거리를 측정하는 단계;
    상기 거리 측정부가 상기 대상차량에 장착된 상기 센서부의 센서를 기반으로 상기 대상차량과 횡방향 차선까지의 제2 차선거리를 측정하는 단계; 및
    상기 제어부가 상기 시나리오별로 상기 제1 상대거리와 상기 제2 상대거리를 비교하고, 상기 제1 차선거리와 상기 제2 차선거리를 비교하여 상기 시나리오별로 오차율을 계산하여 평가하는 단계;를 포함하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법.
  9. 제 8항에 있어서, 상기 제1 상대거리를 계산하는 단계는, 상기 거리 계산부가 수학식 17을 이용하여 계산하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법.
    [수학식 17]
    Figure pat00026

    여기서, d는 상대거리, d0는 초기 상대거리, vTV는 선행차량 속도, vSV는 대상차량 속도, 0.2, 2.9, 및 36.1은 보정 파라미터이다.
  10. 제 8항에 있어서, 상기 제1 차선거리를 계산하는 단계에서 상기 제1 차선거리는, 상기 대상차량의 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리인 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법.
  11. 제 10항에 있어서, 상기 제1 차선거리를 계산하는 단계에서 상기 제1 차선거리는, 상기 듀얼 카메라의 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)의 평균거리인 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법.
  12. 제 11항에 있어서, 상기 제1 차선거리를 계산하는 단계는, 상기 거리 계산부가 수학식 18을 이용하여 상기 좌측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dll)와 상기 우측카메라를 기반으로 계산된 앞바퀴 왼쪽 차륜과 좌측 차선까지의 거리(dlr)를 계산하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법.
    [수학식 18]
    Figure pat00027

    여기서, ψ는 대상차량의 헤딩각, Llw는 대상차량의 횡방향으로 좌측 차선과 우측 차선의 비율, dg는 카메라에서 촬영할 수 있는 지면의 최단 거리, Iwidth는 영상의 폭, b는 좌측카메라와 우측카메라의 설치 간격, Cwh는 카메라부터 차량 앞바퀴 중심까지의 거리이다.
  13. 제 8항에 있어서, 상기 제어부가 상기 시나리오별로 오차율을 계산하여 평가한 결과를 시나리오별 평가결과 저장부에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 방법.
KR1020210184321A 2021-12-21 2021-12-21 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법 KR20230094853A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210184321A KR20230094853A (ko) 2021-12-21 2021-12-21 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210184321A KR20230094853A (ko) 2021-12-21 2021-12-21 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법

Publications (1)

Publication Number Publication Date
KR20230094853A true KR20230094853A (ko) 2023-06-28

Family

ID=86994271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210184321A KR20230094853A (ko) 2021-12-21 2021-12-21 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법

Country Status (1)

Country Link
KR (1) KR20230094853A (ko)

Similar Documents

Publication Publication Date Title
KR101143176B1 (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN108692719B (zh) 物体检测装置
US20100299109A1 (en) Road shape recognition device
JP2002352225A (ja) 障害物検出装置及びその方法
LU502288B1 (en) Method and system for detecting position relation between vehicle and lane line, and storage medium
CN107392080B (zh) 影像评估方法以及其电子装置
JP2004118638A (ja) ステレオ画像処理装置およびステレオ画像処理方法
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
JP2016200557A (ja) 校正装置、距離計測装置及び校正方法
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
CN111386530A (zh) 车辆检测方法和设备
JP2008309519A (ja) 画像処理を用いた物体検出装置
US11054245B2 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
US20240144507A1 (en) Electronic device and control method
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
KR20120086962A (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
KR20230094853A (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP7064400B2 (ja) 物体検知装置