KR20180048094A - 차간 거리 추정 장치 및 방법 - Google Patents

차간 거리 추정 장치 및 방법 Download PDF

Info

Publication number
KR20180048094A
KR20180048094A KR1020160145244A KR20160145244A KR20180048094A KR 20180048094 A KR20180048094 A KR 20180048094A KR 1020160145244 A KR1020160145244 A KR 1020160145244A KR 20160145244 A KR20160145244 A KR 20160145244A KR 20180048094 A KR20180048094 A KR 20180048094A
Authority
KR
South Korea
Prior art keywords
lane
vehicle
image
detected
similarity
Prior art date
Application number
KR1020160145244A
Other languages
English (en)
Other versions
KR102371592B1 (ko
Inventor
최진혁
장재환
박태곤
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160145244A priority Critical patent/KR102371592B1/ko
Publication of KR20180048094A publication Critical patent/KR20180048094A/ko
Application granted granted Critical
Publication of KR102371592B1 publication Critical patent/KR102371592B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 차간 거리 추정 장치 및 방법에 관한 것으로, 카메라를 통해 영상을 획득하고, 상기 영상에서 차량 및 차선을 검출하고, 상기 영상 내 검출된 차량의 위치좌표 및 상기 영상 내 검출된 차선의 차선각과 차선폭 비율을 검출하여 고정 차선각과 고정 차선폭 비율과 비교하여 유사도를 판단하고, 상기 유사도에 따라 상기 검출된 차량의 위치좌표를 보정하여 자차량으로부터 상기 검출된 차량까지의 거리를 추정한다.

Description

차간 거리 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING INTER-VEHICLE DISTANCE}
본 발명은 노면 지오메트리(geometry) 또는 차량 진동에 의해 영상의 수직방향의 흔들림을 차선정보를 이용하여 보정하고 이를 통해 자차량으로부터 전방차량까지의 거리를 추정하는 차간 거리 추정 장치 및 방법에 관한 것이다.
일반적으로, 자율주행시스템은 레이더(radar)와 레이저(laser)와 같은 일정 범위 내 물체 인식이 가능한 센서를 주로 이용한다. 이때, 센서로부터 나오는 값 자체가 거리값이며 이를 이용하여 물체의 거리 및 속도 등을 계산하여 자차 거동을 결정한다. 그러나, 다양한 센서들의 적용은 제조단가를 증가시키는 문제점이 있다.
이에, 자율주행시스템에 카메라만을 이용하여 물체를 인식하여 인식한 물체와의 거리를 측정하는 알고리즘이 개발되고 있다. 기존의 영상 기반 거리 측정 기술에서는 카메라와 노면의 지오메트리(geometry) 정보를 이용하여 거리를 추정한다. 이때, 노면은 차량으로부터 평행하다는 전제를 바탕으로 노면과 카메라 사이의 관계식을 이용해 인식된 물체에 대한 거리를 구하게 된다.
그러나, 실제 도로의 노면은 크랙(crack), 수직적인 굴곡 또는 방지턱 등으로 인해 이상적인 평면이 아니며, 차량은 자체적으로 진동이 발생하므로, 카메라를 통해 영상 획득 시 수직방향으로의 이동이 잦게 된다. 따라서, 기존의 노면과 차체가 평행하다는 전제가 성립하지 않으므로, 정밀하게 거리를 추정(측정)할 수 없다.
KR 101463513 B1
본 발명은 카메라를 통해 자차량의 전방영상을 획득하고, 획득한 영상으로부터 차선정보를 검출하여 검출한 차선정보에 근거하여 노면 지오메트리 및 차량 진동 등에 의한 영상 내 수직방향으로의 이동 변화를 연산하고 이를 고려하여 자차량으로부터 전방차량까지의 거리를 추정하는 차간 거리 추정 장치 및 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차간 거리 추정 방법은 카메라를 통해 영상을 획득하는 단계, 상기 영상에서 차량 및 차선을 검출하는 단계, 상기 영상 내 검출된 차량의 위치좌표 및 상기 영상 내 검출된 차선의 차선각과 차선폭 비율을 검출하는 단계, 상기 차선각과 차선폭 비율을 고정 차선각과 고정 차선폭 비율과 비교하여 유사도를 판단하는 단계 및 상기 유사도에 따라 상기 검출된 차량의 위치좌표를 보정하여 자차량으로부터 상기 검출된 차량까지의 거리를 추정하는 단계를 포함하는 것을 특징으로 한다.
상기 차량의 위치좌표는, 상기 영상 내에서 상기 검출된 차량의 바퀴가 노면과 접촉한 지점의 y좌표인 것을 특징으로 한다.
상기 차선폭 비율은, 실제 차선폭과 상기 차선폭 간의 비율인 것을 특징으로 한다.
상기 유사도를 판단하는 단계는, 상기 차선각과 차선폭 비율 및 고정 차선각과 고정 차선폭 비율 간의 유사도를 연산하고 연산된 유사도가 임계치 이상인지를 확인하는 것을 특징으로 한다.
상기 거리를 추정하는 단계는, 상기 유사도가 임계치 이상이면 상기 검출된 차량의 위치좌표를 이용하여 거리를 추정하는 것을 특징으로 하는 차간 거리 추정 방법.
상기 거리를 추정하는 단계는, 상기 유사도가 임계치 미만이면, 상기 영상으로부터 호모그래피를 추출하는 단계; 상기 호모그래피를 이용하여 상기 검출된 차량의 위치좌표를 평면 시점에서의 좌표로 변환하는 단계; 상기 평면 시점에서의 좌표에 고정 좌표변환 행렬식을 적용하여 기준 카메라 지오메트리에서의 좌표로 변환하는 단계; 및 상기 기준 카메라 지오메트리에서의 좌표를 이용하여 거리를 추정하는 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 차간 거리 추정 장치는 영상을 획득하는 카메라, 고정 차선각 및 고정 차선폭 비율을 저장하고 있는 메모리 및 상기 영상에서 차량 및 차선을 검출하고, 검출된 차량의 위치좌표 및 검출된 차선의 차선각과 차선폭 비율을 검출하여 상기 고정 차선각 및 상기 고정 차선폭 비율과 비교하여 유사도를 판단하고 상기 유사도에 따라 상기 검출된 차량의 위치좌표를 보정하여 자차량으로부터 상기 검출된 차량까지의 거리를 추정하는 처리기를 포함하는 것을 특징으로 한다.
상기 차량의 위치좌표는, 상기 영상 내에서 상기 검출된 차량의 바퀴가 노면과 접촉한 지점의 y좌표인 것을 특징으로 한다.
상기 차선폭 비율은, 실제 차선폭과 상기 차선폭 간의 비율인 것을 특징으로 한다.
상기 처리기는, 상기 차선각 및 차선폭 비율과 상기 고정 차선각 및 고정 차선폭 비율 간의 유사도를 연산하고 연산된 유사도가 임계치 이상인지를 확인하는 것을 특징으로 한다.
상기 처리기는, 상기 유사도가 임계치 이상이면 상기 검출된 차량의 위치좌표를 이용하여 거리를 추정하는 것을 특징으로 한다.
상기 처리기는, 상기 유사도가 임계치 미만이면, 상기 영상으로부터 호모그래피를 추출하고, 상기 호모그래피를 이용하여 상기 검출된 차량의 위치좌표를 평면 시점에서의 좌표로 변환하고, 상기 평면 시점에서의 좌표에 고정 좌표변환 행렬식을 적용하여 기준 카메라 지오메트리에서의 좌표로 변환하고, 상기 기준 카메라 지오메트리에서의 좌표를 이용하여 거리를 추정하는 것을 특징으로 한다.
본 발명은 카메라를 통해 자차량의 전방영상을 획득하고, 획득한 영상으로부터 차선정보를 검출하여 그 차선정보에 근거하여 노면 지오메트리 및 차량 진동 등에 의한 영상 내 수직방향으로의 이동 변화를 연산하고 이를 고려하여 자차량으로부터 전방차량까지의 거리를 추정하므로, 카메라만을 이용하여 자차량으로부터 전방차량까지의 거리를 정밀하게 추정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차간 거리 추정 장치의 블록구성도.
도 2는 고정 좌표변화 행렬식을 설명하기 위한 도면.
도 3은 거리 추정 함수의 도출을 설명하기 위한 도면.
도 4는 차량의 위치좌표, 차선각 및 차선폭 비율 검출을 설명하기 위한 도면.
도 5는 차량의 위치좌표 보정을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 차간 거리 추정 방법을 도시한 흐름도.
본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 발명은 노면 및 진동 등에 의해 카메라 지오메트리(geometry)가 변경되면 영상에서 검출된 물체의 거리를 정밀하게 추정(측정)할 수 없는 문제를 해결하기 위하여, 카메라를 통해 영상을 획득하고, 영상 내 차량 및 차선을 검출하여 검출한 차선정보를 이용하여 노면 지오메트리(geometry) 및 차량 진동 등에 의한 영상 내 수직변화를 연산하고, 연산된 수직변화를 고려하여 자차량으로부터 타차량까지의 거리를 추정하는 것입니다.
도 1은 본 발명의 일 실시예에 따른 차간 거리 추정 장치의 블록구성도이고, 도 2는 고정 좌표변화 행렬식을 설명하기 위한 도면이며, 도 3은 거리 추정 함수의 도출을 설명하기 위한 도면이고, 도 4는 차량의 위치좌표, 차선각 및 차선폭 비율 검출을 설명하기 위한 도면이며, 도 5는 차량의 위치좌표 보정을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 차간 거리 추정 장치는 카메라(110), 메모리(120) 및 처리기(130)를 포함한다.
카메라(110)는 차량에 설치되어 자차량의 전방영상을 실시간으로 획득한다. 이때, 카메라(110)는 원근 시점(perspective view)에서 영상을 획득한다. 카메라(110)는 획득한 영상을 처리기(130)로 전달한다. 본 실시예에서는 카메라(110)를 차량 내 전방에 설치하여 자차량의 전방영상만을 획득하는 것을 예로 들어 설명하고 있으나, 이에 한정되지 않고 카메라(110)를 차량의 전방, 후방 및 측방에 설치하여 자차량의 전방영상, 후방영상 및 측방영상을 획득하도록 구현할 수도 있다.
카메라(110)는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등과 같은 영상센서들 중 어느 하나의 영상센서로 구현될 수 있다.
메모리(120)는 고정 좌표변환 행렬식(inverse homography, iH), 고정 차선폭 비율, 및 고정 차선각 등을 저장하고 있다. 메모리(120)는 처리기(130)의 동작을 위한 프로그램을 저장할 수 있고, 입력 및/또는 출력되는 데이터들을 임시로 저장할 수도 있다.
고정 좌표 변환 행렬식은 다음과 같은 과정으로 사전에 미리 구한다. 먼저, 일반 도로(노면이 이상적 평면인 도로) 상의 중앙에 차량(V)이 위치할 때 카메라를 이용하여 원근(perspective view) 영상(Img1) 및 평면(top-view) 영상(Img2)을 획득한다. 여기서, 원근 영상(Img1)은 기준 카메라 지오메트리 상황에서 획득한 영상이다. 획득한 원근 영상(Img1) 및 평면 영상(Img2)에서 각각 차량(V)와 차선(L1, L2, L3, 및 L4)를 검출한다. 그리고, 원근 영상(Img1)에서 검출된 차선(L1 및 L2)과 y=y1 및 y=y2의 교차점(P1, P2, P3, P4)을 검출하고, 평면 영상(Img2)에서 검출된 차선(L3 및 L4)과 y=y1 및 y=y2의 교차점(P'1, P'2, P'3, P'4)을 검출한다. 원근 영상(Img1)의 교차점(P1, P2, P3, P4)과 평면 영상(Img2)의 교차점(P'1, P'2, P'3, P'4)의 관계를 호모그래피(homography) H로 표현할 수 있다. 즉, 원근 영상(Img1)을 평면 영상(Img2)으로 변환하는 관계식을 호모그래피 H로 구한다. 호모그래피 H는 3×3 행렬이다. 구해진 호모그래피 H의 역행렬(inverser)을 고정 좌표변환 행렬식(iH)을 구한다.
고정 차선각은 원근 영상(Img1)에서 검출된 차선 사이의 각도(θ)이고, 고정 차선폭 비율(α)은 실제 차선폭(d)와 원근 영상(Img1) 내 차선폭(p) 사이의 비율이다. 차선폭 비율(α)을 연산하는 식은 [수학식 1]과 같이 나타낼 수 있다.
Figure pat00001
또한, 메모리(120)는 거리 추정 함수(f)를 저장할 수 있다. 거리 추정 함수는 최소자승법에 기반하여 실제 거리별 y좌표(영상 내 차량 하단의 y축 위치)를 모델링한다(도 3의 그래프 참조). 이러한 모델링을 통해 [수학식 2]의 분모함수 기반의 거리 추정 함수를 도출한다.
Figure pat00002
여기서, x는 실제 거리이고, y는 영상 내 차량의 위치좌표이다.
메모리(120)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 웹 스토리지(web storage) 등의 저장매체 중 어느 하나 이상의 저장매체로 구현될 수 있다.
처리기(130)는 카메라(110)로부터 입력받은 영상(원근 영상)에서 차량과 차선을 검출한다. 이때, 처리기(130)는 학습 기반의 영상 내 차량 및 차선 검출 기술을 이용한다.
처리기(130)는 영상 내 차량을 검출하면 검출한 차량의 위치좌표(차량의 바퀴와 노면이 접촉한 위치)를 추출(검출)한다. 다시 말해서, 처리기(130)는 영상 내 차량의 하단이 위치하는 y좌표를 검출한다. 여기서, y좌표는 영상 좌표계에서의 y축 값을 의미한다. 예컨대, 처리기(130)는 도 4에서와 같이 영상 내 전방차량(V)이 검출되면 검출된 차량의 하단이 위치하는 y축 값 yV를 검출한다. 여기서, 전방차량(V)는 자차량이 주행하는 차로의 전방에 위치하는 차량을 의미한다.
처리기(130)는 영상에서 검출된 차선 사이의 각(θ')을 검출한다. 예를 들어, 처리기(130)는 도 4와 같은 영상에서 검출된 차선 L5 및 L6가 이루는 각 θ'을 검출한다.
처리기(130)는 영상에서 검출된 차선(L5 및 L6)을 이용하여 차선폭 비율(α')을 검출한다. 처리기(130)는 실제 차선폭(d)은 고정 차선폭 비율을 산출할 때 사용한 실제 차선폭과 동일하다고 가정하고 영상 내 차선폭(p)를 구한다(도 4 참조). 처리기(130)는 [수학식 2]를 이용하여 실제 차선폭(d)과 구한 차선폭(p)의 비율을 연산한다.
처리기(130)는 입력받은 영상으로부터 차선각과 차선폭 비율을 검출하면, 검출한 차선각과 차선폭 비율을 메모리(120)에 저장된 고정 차선각과 고정 차선폭 비율와 비교하여 유사도를 판단한다.
유사도μ는 [수학식 3]을 이용하여 연산한다.
Figure pat00003
여기서, ρ는 차선각 게인(gain) 이고, σ는 차선폭비율 게인(gain) 이다.
처리기(130)는 유사도가 임계치(예: 0.7) 이상이면 영상 내 차량의 하단 위치 좌표(yV)를 이용하여 자차량으로부터 전방차량까지의 거리 f(yV)를 추정한다.
한편, 처리기(130)는 유사도가 임계치 미만이면 영상의 수직방향으로 변화가 크게 발생했다고 판단하여 카메라(110)로부터 입력 받은 영상에서 호모그래피 H'을 추출한다. 예컨대, 처리기(130)는 노면에 의해 카메라 지오메트리가 변경되면 카메라(110)를 통해 획득한 영상으로부터 호모그래피 H'를 추출한다.
처리기(130)는 추출한 호모그래피 H'을 이용하여 차량의 위치좌표 y를 평면 시점에서의 좌표 y'로 변환한다. 즉, 처리기(130)는 도 5에 도시된 바와 같이, 차량의 위치좌표 y에 호모그래피 H'을 곱하여 평면 시점에서의 차량의 위치좌표 y'을 연산한다. 처리기(130)는 고정 좌표변환 행렬식(iH)을 이용하여 변환된 좌표 y'를 기준 카메라 지오메트리에서의 y"을 구한다. 도 5에 도시된 바와 같이, 처리기(130)는 변환된 좌표 y'에 고정 좌표변환 행렬식(iH)을 곱하여 보정된 차량의 위치좌표 y"을 구한다.
도 6은 본 발명의 일 실시예에 따른 차간 거리 추정 방법을 도시한 흐름도이다.
차간 거리 추정 장치의 처리기(130)는 카메라(110)로부터 영상을 입력 받는다(S110). 카메라(110)는 자차량의 전방영상을 획득하여 처리기(130)로 전달한다. 여기서, 전방영상은 원근 시점에서 획득한 영상이다.
처리기(130)는 입력받은 영상에서 차량 및 차선을 검출한다(S120). 처리기(130)는 학습 기반 차량 검출 알고리즘을 이용하여 영상 내 차량을 검출한다. 또한, 처리기(130)는 학습 기반 차선 검출 알고리즘을 이용하여 영상 내 차선을 검출한다.
처리기(130)는 검출한 차량의 위치좌표 및 검출한 차선의 차선각 및 차선폭 비율을 추출(연산)한다(S130). 차량의 위치좌표는 영상 내 차량의 하단이 위치하는 y축의 값(y좌표)이다. 차선각은 검출된 두 차선(자차량이 주행하고 있는 차로의 양 차선)이 이루는 각이고, 차선폭 비율은 실제 차선폭과 영상 내 차선폭의 비율이다.
처리기(130)는 추출한 차선각과 차선폭 비율을 메모리(120)에 저장된 고정 차선각과 고정 차선폭 비율과 비교하여 유사성을 판단한다(S140). 다시 말해서, 처리기(130)는 추출한 차선각 및 차선폭 비율과 고정 차선각 및 고정 차선폭 비율을 이용하여 유사성을 연산하고, 연산한 유사성이 임계치 이상인지를 확인한다.
처리기(130)는 연산한 유사성이 임계치 이상이면 영상에서 검출한 차량의 위치좌표(y)를 이용하여 자차량으로부터 검출한 차량까지의 거리(d')를 추정한다(S150). 즉, 처리기(130)는 거리 추정 함수 f에 영상에서 검출한 차량의 위치좌표(y)를 적용하여 거리(d')를 추정한다.
S140에서, 처리기(130)는 유사성이 임계치 미만이면, 영상으로부터 호모그래피 H'를 추출한다(S170).
처리기(130)는 추출한 호모그래피(H') 및 고정 좌표변환 행렬식(iH)를 이용하여 영상 내 차량의 위치좌표(y)를 보정한다(S180). 처리기(130)는 영상 내 차량의 위치좌표(y)에 추출한 호모그래피(H')을 곱하여 영상 내 차량의 위치좌표(y)를 평면 시점에서의 차량의 위치좌표(y')로 변환한다. 처리기(130)는 평면 시점에서의 차량의 위치좌표(y')에 고정 좌표변환 행렬식(iH)를 적용하여 기준 카메라 지오메트리 상황에서의 차량의 위치좌표(y")를 구한다. 다시 말해서, 처리기(130)는 영상 내 차량의 위치좌표를 이상적 평면인 노면 상에 차량이 위치하는 경우 원근 시점에서의 영상 내 차량의 위치좌표로 변환하는 것이다. 따라서, 처리기(130)는 카메라(110)로부터 입력받은 영상에 포함된 노면 형상 및 진동에 의한 수직방향의 흔들림을 보정한다.
처리기(130)는 보정된 차량의 위치좌표(y")를 이용하여 자차량으로부터 검출한 차량까지의 거리(d')을 추정한다(S190).
본 발명의 일 실시예에 따르면, 본 발명의 차간 거리 추정 기술은 영상 기반 자율주행 시 영상에서 검출된 물체의 정밀한 거리를 측정할 수 있다.
또한, 본 발명의 차간 거리 추정 기술은 차량 검출 알고리즘 및 보행자 검출 알고리즘 등에 적용하여 자차량으로부터 검출된 타차량까지의 거리 및/또는 검출된 보행자까지의 거리를 추정하는데 사용될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
110: 카메라
120: 메모리
130: 처리기

Claims (12)

  1. 카메라를 통해 영상을 획득하는 단계;
    상기 영상에서 차량 및 차선을 검출하는 단계;
    상기 영상 내 검출된 차량의 위치좌표 및 상기 영상 내 검출된 차선의 차선각과 차선폭 비율을 검출하는 단계;
    상기 차선각과 차선폭 비율을 고정 차선각과 고정 차선폭 비율과 비교하여 유사도를 판단하는 단계; 및
    상기 유사도에 따라 상기 검출된 차량의 위치좌표를 보정하여 자차량으로부터 상기 검출된 차량까지의 거리를 추정하는 단계를 포함하는 것을 특징으로 하는 차간 거리 추정 방법.
  2. 제1항에 있어서,
    상기 차량의 위치좌표는,
    상기 영상 내에서 상기 검출된 차량의 바퀴가 노면과 접촉한 지점의 y좌표인 것을 특징으로 하는 차간 거리 추정 방법.
  3. 제1항에 있어서,
    상기 차선폭 비율은,
    실제 차선폭과 상기 차선폭 간의 비율인 것을 특징으로 하는 차간 거리 추정 방법.
  4. 제1항에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 차선각과 차선폭 비율 및 고정 차선각과 고정 차선폭 비율 간의 유사도를 연산하고 연산된 유사도가 임계치 이상인지를 확인하는 것을 특징으로 하는 차간 거리 추정 방법.
  5. 제4항에 있어서,
    상기 거리를 추정하는 단계는,
    상기 유사도가 임계치 이상이면 상기 검출된 차량의 위치좌표를 이용하여 거리를 추정하는 것을 특징으로 하는 차간 거리 추정 방법.
  6. 제4항에 있어서,
    상기 거리를 추정하는 단계는,
    상기 유사도가 임계치 미만이면, 상기 영상으로부터 호모그래피를 추출하는 단계;
    상기 호모그래피를 이용하여 상기 검출된 차량의 위치좌표를 평면 시점에서의 좌표로 변환하는 단계;
    상기 평면 시점에서의 좌표에 고정 좌표변환 행렬식을 적용하여 기준 카메라 지오메트리에서의 좌표로 변환하는 단계; 및
    상기 기준 카메라 지오메트리에서의 좌표를 이용하여 거리를 추정하는 단계를 포함하는 것을 특징으로 하는 차간 거리 추정 방법.
  7. 영상을 획득하는 카메라;
    고정 차선각 및 고정 차선폭 비율을 저장하고 있는 메모리; 및
    상기 영상에서 차량 및 차선을 검출하고, 검출된 차량의 위치좌표 및 검출된 차선의 차선각과 차선폭 비율을 검출하여 상기 고정 차선각 및 상기 고정 차선폭 비율과 비교하여 유사도를 판단하고 상기 유사도에 따라 상기 검출된 차량의 위치좌표를 보정하여 자차량으로부터 상기 검출된 차량까지의 거리를 추정하는 처리기를 포함하는 것을 특징으로 하는 차간 거리 추정 장치.
  8. 제7항에 있어서,
    상기 차량의 위치좌표는,
    상기 영상 내에서 상기 검출된 차량의 바퀴가 노면과 접촉한 지점의 y좌표인 것을 특징으로 하는 차간 거리 추정 장치.
  9. 제7항에 있어서,
    상기 차선폭 비율은,
    실제 차선폭과 상기 차선폭 간의 비율인 것을 특징으로 하는 차간 거리 추정 장치.
  10. 제7항에 있어서,
    상기 처리기는,
    상기 차선각 및 차선폭 비율과 상기 고정 차선각 및 고정 차선폭 비율 간의 유사도를 연산하고 연산된 유사도가 임계치 이상인지를 확인하는 것을 특징으로 하는 차간 거리 추정 장치.
  11. 제10항에 있어서,
    상기 처리기는,
    상기 유사도가 임계치 이상이면 상기 검출된 차량의 위치좌표를 이용하여 거리를 추정하는 것을 특징으로 하는 차간 거리 추정 장치.
  12. 제10항에 있어서,
    상기 처리기는,
    상기 유사도가 임계치 미만이면, 상기 영상으로부터 호모그래피를 추출하고, 상기 호모그래피를 이용하여 상기 검출된 차량의 위치좌표를 평면 시점에서의 좌표로 변환하고, 상기 평면 시점에서의 좌표에 고정 좌표변환 행렬식을 적용하여 기준 카메라 지오메트리에서의 좌표로 변환하고, 상기 기준 카메라 지오메트리에서의 좌표를 이용하여 거리를 추정하는 것을 특징으로 하는 차간 거리 추정 장치.
KR1020160145244A 2016-11-02 2016-11-02 차간 거리 추정 장치 및 방법 KR102371592B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160145244A KR102371592B1 (ko) 2016-11-02 2016-11-02 차간 거리 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160145244A KR102371592B1 (ko) 2016-11-02 2016-11-02 차간 거리 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180048094A true KR20180048094A (ko) 2018-05-10
KR102371592B1 KR102371592B1 (ko) 2022-03-07

Family

ID=62184657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160145244A KR102371592B1 (ko) 2016-11-02 2016-11-02 차간 거리 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102371592B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138750B2 (en) 2018-10-10 2021-10-05 Samsung Electronics Co., Ltd. Distance estimating method and apparatus
EP3968266A1 (en) * 2020-09-15 2022-03-16 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Obstacle three-dimensional position acquisition method and apparatus for roadside computing device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0986315A (ja) * 1995-09-20 1997-03-31 Mitsubishi Motors Corp 障害物認識装置
JP2005041360A (ja) * 2003-07-23 2005-02-17 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
JP2010191661A (ja) * 2009-02-18 2010-09-02 Nissan Motor Co Ltd 走行路認識装置、自動車及び走行路認識方法
JP2011075437A (ja) * 2009-09-30 2011-04-14 Denso It Laboratory Inc 車両周辺表示装置、車両周辺表示方法およびプログラム
KR101454153B1 (ko) * 2013-09-30 2014-11-03 국민대학교산학협력단 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
KR101463513B1 (ko) 2013-05-10 2014-11-19 전자부품연구원 전방 차량 거리 추정 방법 및 장치
JP2015205522A (ja) * 2014-04-17 2015-11-19 いすゞ自動車株式会社 車両状態推定装置
JP2016517106A (ja) * 2013-04-01 2016-06-09 パク，ス−ミン 自動車の自動運行システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0986315A (ja) * 1995-09-20 1997-03-31 Mitsubishi Motors Corp 障害物認識装置
JP2005041360A (ja) * 2003-07-23 2005-02-17 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP2010191661A (ja) * 2009-02-18 2010-09-02 Nissan Motor Co Ltd 走行路認識装置、自動車及び走行路認識方法
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
JP2011075437A (ja) * 2009-09-30 2011-04-14 Denso It Laboratory Inc 車両周辺表示装置、車両周辺表示方法およびプログラム
JP2016517106A (ja) * 2013-04-01 2016-06-09 パク，ス−ミン 自動車の自動運行システム
KR101463513B1 (ko) 2013-05-10 2014-11-19 전자부품연구원 전방 차량 거리 추정 방법 및 장치
KR101454153B1 (ko) * 2013-09-30 2014-11-03 국민대학교산학협력단 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
JP2015205522A (ja) * 2014-04-17 2015-11-19 いすゞ自動車株式会社 車両状態推定装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138750B2 (en) 2018-10-10 2021-10-05 Samsung Electronics Co., Ltd. Distance estimating method and apparatus
EP3968266A1 (en) * 2020-09-15 2022-03-16 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
JP2022048963A (ja) * 2020-09-15 2022-03-28 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
US11694445B2 (en) 2020-09-15 2023-07-04 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Obstacle three-dimensional position acquisition method and apparatus for roadside computing device

Also Published As

Publication number Publication date
KR102371592B1 (ko) 2022-03-07

Similar Documents

Publication Publication Date Title
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
US8897497B2 (en) Object detecting device
JP6225889B2 (ja) 車両位置推定装置及びプログラム
JP5251800B2 (ja) 対象物追跡装置及びプログラム
JP5293815B2 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
US20160075280A1 (en) System for estimating lane and method thereof
US8350909B2 (en) Method and in-vehicle device for correcting alignment information representative of the alignment of an in-vehicle camera
KR102441075B1 (ko) 노면표시기반 차량의 위치추정 방법 및 장치
US10187630B2 (en) Egomotion estimation system and method
KR102304851B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법
US10235579B2 (en) Vanishing point correction apparatus and method
JP4052291B2 (ja) 車両用画像処理装置
KR102371592B1 (ko) 차간 거리 추정 장치 및 방법
JP6488226B2 (ja) 走路パラメータ推定装置及びプログラム
JP5867167B2 (ja) 影検出装置
JP6577595B2 (ja) 車両用外界認識装置
EP3333828B1 (en) Step detection device and step detection method
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
JP5760523B2 (ja) 走路推定装置及びプログラム
CN112400094B (zh) 物体探测装置
JP2013183311A (ja) 車載カメラの姿勢角推定装置及び検出システム
CN112513573B (zh) 立体摄像机装置
JP6845124B2 (ja) 走路推定装置及びプログラム
JP2017016460A (ja) 交通流計測装置および交通流計測方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant