KR102042315B1 - 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법 - Google Patents

도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법 Download PDF

Info

Publication number
KR102042315B1
KR102042315B1 KR1020170152559A KR20170152559A KR102042315B1 KR 102042315 B1 KR102042315 B1 KR 102042315B1 KR 1020170152559 A KR1020170152559 A KR 1020170152559A KR 20170152559 A KR20170152559 A KR 20170152559A KR 102042315 B1 KR102042315 B1 KR 102042315B1
Authority
KR
South Korea
Prior art keywords
road
profile
road profile
matching cost
photographing
Prior art date
Application number
KR1020170152559A
Other languages
English (en)
Other versions
KR20190055633A (ko
Inventor
최병호
황영배
윤주홍
박민규
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170152559A priority Critical patent/KR102042315B1/ko
Publication of KR20190055633A publication Critical patent/KR20190055633A/ko
Application granted granted Critical
Publication of KR102042315B1 publication Critical patent/KR102042315B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B60W2550/143—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 도로 프로파일 추정장치는 도로 영상을 촬영하는 촬영부; 및 상기 촬영부에서 촬영한 복수의 영상에 대한 정합 비용을 이용하여 상기 도로 영상에 대한 도로 프로파일을 추정하는 프로파일 추정부를 포함할 수 있다.

Description

도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법{ROAD PROFILE ESTIMATION APPARATUS AND ROAD PROFILE ESTIMATION METHOD}
본 발명은 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법에 관한 것이다.
일반적으로 전방 도로의 프로파일을 추정하는 방법으로는 먼저 semi-global matching 과 같은 스테레오 정합 기술을 이용해 전체 영상에 대한 조밀한 깊이 영상을 획득하고, 획득된 깊이 영상으로부터 도로 영역 또는 빈 공간(free space)을 추정한 뒤 도로 영역에서 추정된 깊이 정보를 이용하여 프로파일 정보를 추정하는 과정을 갖는다. 일반적인 도로 프로파일 방법은 깊이 영상으로부터 도로 프로파일을 추정하는 간접 도로 프로파일 추정 방법이다.
도 1은 종래의 도로 프로파일을 추정한 예를 나타낸 도면이다.
도 1을 참조하면, 일반적인 스테레오 정합 기술은 외부 환경 변화에 매우 취약하여 강건한 프로파일 정보를 추정하기 어렵다는 단점이 존재한다. 깊이 영상의 추정이 잘못되면, 도면에서 도시된 바와 같이, 도로 영역은 물론이고 주변 영역 또한 프로파일 정보를 강건하게 추정할 수 없다.
본 발명의 목적은 영상 정보를 이용하여 도로 프로파일을 강건하게추정할 수 있는 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법을 제공하는 데 있다.
본 발명의 일 실시 예에 따른 도로 프로파일 추정장치는 도로 영상을 촬영하는 촬영부; 및 상기 촬영부에서 촬영한 복수의 영상에 대한 정합 비용을 이용하여 상기 도로 영상에 대한 도로 프로파일을 추정하는 프로파일 추정부를 포함할 수 있다.
실시 예에 있어서, 상기 프로파일 추정부는, 상기 복수의 영상을 행 단위로 비교하여 정합 비용을 계산하는 계산부; 상기 계산한 정합 비용을 업 샘플링하는 업 샘플링부; 및 상기 업 샘플링된 정합 비용을 집적하는 집적부를 포함하고, 상기 집적된 정합 비용을 이용하여 도로 프로파일을 추정할 수 있다.
실시 예에 있어서, 상기 업 샘플링부는, 상기 복수의 영상 중 동일 행 사이의 변이 값의 평균 변화량이 정수가 되도록 정합 비용을 보간할 수 있다.
실시 예에 있어서, 상기 업 샘플링부는, 상기 촬영부의 촬영 각도, 상기 촬영부의 설치 높이, 둘 이상의 촬영부 사이의 거리 및 상기 촬영부의 내부 파라미터 중 적어도 하나 이상을 이용하여 상기 변이 값의 최대 값 및 최소 값을 계산하고, 이를 이용하여 상기 정합 비용을 보간할 수 있다.
실시 예에 있어서, 상기 집적부는, 다양한 최적화 알고리즘 중 신뢰 전파(belief propagation) 및 동적 프로그래밍(dynamic programming) 중 적어도 하나 이상을 이용하여 최적의 해를 구하고, 이를 이용하여 상기 정합 비용을 집적할 수 있다.
실시 예에 있어서, 상기 프로파일 추정부는, 상기 집적된 정합비용을 이용하여 비계수적(non-parametic) 도로 프로파일을 추정하되, 상기 비계수적 도로 프로파일을 모델링하여 계수적(parametic) 프로파일을 획득하는 것을 더 포함할 수 있다.
실시 예에 있어서, 상기 프로파일 추정부는, 상기 비계수적 도로 프로파일에 대해 선분 맞춤(line fitting), 쌍곡선, 지수 함수 및 B-spline 중 적어도 하나 이상을 이용하여 계수적 도로 프로 파일을 획득할 수 있다.
본 발명의 일 실시 예에 따른 도로 프로파일 추정 방법은 도로에 대한 영상을 촬영하는 단계; 및 상기 촬영된 복수의 영상에 대한 정합 비용을 이용하여 상기 도로 영상에 대한 도로 프로파일을 추정하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 프로파일 추정 단계는, 상기 복수의 영상을 행 단위로 비교하여 정합 비용을 계산하는 계산하는 단계; 상기 계산한 정합 비용을 업 샘플링하는 업 샘플링하는 단계; 및 상기 업 샘플링된 정합 비용을 집적하여 도로 프로파일을 획득하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 업 샘플링 단계는, 상기 복수의 영상 중 동일 행 사이의 변이 값의 평균 변화량이 정수가 되도록 정합 비용을 보간하는 단계를 더 포함할 수 있다.
실시 예에 있어서, 상기 업 샘플링 단계는, 상기 복수의 영상을 촬영하는 촬영부의 촬영 각도, 상기 촬영부의 설치 높이, 상기 촬영부 간의 거리 및 상기 촬영부의 내부 파라미터 중 적어도 하나 이상을 이용하여 상기 변이 값의 최대 값 및 최소값이 계산될 수 있다.
실시 예에 있어서, 상기 정합 비용을 집적하여 도로 프로파일을 획득하는 단계는, 다양한 최적화 알고리즘 중 신뢰 전파(belief propagation) 또는 동적 프로그래밍(dynamic programming) 중 하나를 이용하여 최적의 해를 구할 수 있다.
실시 예에 있어서, 상기 도로 프로파일 획득 단계는, 상기 도로 영상의 복수의 행에 각각에 대해 정합 비용을 최소로 하는 변이 값을 획득하여 비계수적(non-parametic) 도로 프로파일을 획득하는 단계를 포함할 수 있다.
실시 예에 있어서, 상기 도로 프로파일 획득 단계는, 상기 비계수적 도로 프로파일에 대해 선분 맞춤(line fitting), 쌍곡선, 지수 함수및 B-spline 중 적어도 하나를 이용하여 계수적 도로 프로 파일을 획득할 수 있다.
본 발명에 따른 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 영상 정보를 이용하여 전방 도로의 프로파일을 강건하게 추정할 수 있어 다양한 환경 변화에도 강건한 도로 프로파일을 추정할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 전방 도로 프로파일 정보를 이용하여 차량의 서스펜션 및 댐퍼를 능동적으로 조절하여 운전자의 승차감을 향상시킬 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 전방 도로 프로파일 정보를 이용하여 장애물을 검출하고, 운전자 보조 시스템 및 자율주행자동차 등에 활용되어 안전 운전에 활용될 수 있다.
도 1은 종래의 도로 프로파일을 추정한 예를 나타낸 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 도로 프로파일 추정장치를 도시한 블럭도이다.
도 3은 본 발명의 바람직한 실시 예에 따른 도로 프로파일을 추정하는 과정을 도시한 흐름도이다.
도 4는 행 단위 정합 비용을 계산하는 실시 예를 도시한 도면이다.
도 5는 본 발명의 바람직한 실시 예에 따른 도로 프로파일 추정장치가 차량에 설치된 실시 예를 도시한 도면이다.
도 6은 행 단위 정합 비용을 계산하여 모델 맞춤하여 그래프로 도시한 도면이다.
도 7은 계수적(parametric)으로 추정된 도로 프로파일을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 2는 본 발명의 바람직한 실시 예에 따른 도로 프로파일 추정장치를 도시한 블럭도이다.
도 2를 참조하면, 도로 프로파일 추정장치(200)는 촬영부(210) 및 프로파일 추정부(250)를 포함할 수 있다.
촬영부(210)는 도로 영상을 촬영하기 위한 구성으로 복수 개가 구비될 수 있다. 촬영부(210)는 도로를 촬영하기 위한 구성이므로 일반적으로 차량에 설치될 수 있다. 차량이 도로위를 이동하면서 촬영부(210)를 이용하여 실시간으로 도로를 촬영할 수 있다. 촬영부(210)는 도로 프로파일 추정장치(200)에 구비된 것으로 도시하였으나, 외부에 별도로 구비될 수 있다.
프로파일 추정부(250)는 계산부(220), 업 샘플링부(230) 및 집적부(240)를 포함할 수 있다. 프로파일 추정부(250)는 촬영부(210)에서 쵤영한 복수의 영상에 대한 정합 비용을 이용하여 도로 영상에 대한 도로 프로파일을 추정하기 위한 구성이다. 프로파일 추정부(250)는 집적된 정합비용을 이용하여 도로 프로파일을 추정하는 구성이다. 프로파일 추정부(250)에서는 비계수적(non-parametric) 도로 프로파일을 구할 수 있고, 도로 프로파일에 모델 맞춤을 통해 계수적(parametric) 도로 파일을 구할 수 있다. 모델 맞춤을 위한 별도의 모델 맞춤부(미도시)가 구비될 수 있다. 모델 맞춤부(미도시)에서는 비계수적 도로 프로파일에 대해 선분 맞춤(line fitting), 쌍곡선, 지수 함수및 B-spline 중 적어도 하나를 이용하여 계수적 도로 프로 파일을 획득할 수 있다.
계산부(220)는 촬영부에서 촬영된 복수의 영상을 행 단위로 비교하여 정합 비용을 계산하는 구성이다. 업 샘플링부(230)는 계산부(220)에서 계산된 정합 비용을 업 샘플링하기 위한 구성이다. 업 샘플링부(230)는 복수의 영상 중 동일 행 사이의 변이 값의 평균 변화량이 정수(도로에서 수직방향으로의 변화량)가 되도록 정합비용을 보간하는 기능을 수행할 수 있다. 예를 들어, 업 샘플링부(230)는 복수의 영상 중 동일 행 사이의 변이 값의 평균 변화량이 1이 되도록 정합비용을 보간할 수 있다.
집적부(240)는 업 샘플링된 정합비용에서 최적의 해를 구하기 위한 구성이다. 1 단위로 변이 값이 변하게 되면, 이산(discrete) 라벨링 문제를 풀수 있는 모든 최적화 기법을 통해 보다 좋은 해를 구할 수 있는 장점일 가진다. 1보다 적은 변화가 있는데 이산 라벨링을 적용하면, 값이 1 단위로 변화하여 구획화 현상(blocking artifact) 또는 계산 현상이 일어날 수 있다. 업 샘플링된 정합비용은 다양한 최적화 알고리즘을 통해 최적의 해를 구할 수 있다. 다양한 최적화 알고리즘 중 예를 들어, 신뢰 전파(belief propagation) 또는 동적 프로그래밍(dynamic programming) 중 하나의 최적화 기법에 의해 구해질 수 있다.
제어부(260)는 도로 프로파일 추정장치(200)의 전체 구성을 제어하기 위한 구성이다. 상기에서는 계산부(220), 업 샘플링부(230), 집적부(240) 는 각각 별개의 구성으로 도시하였으나, 여러 구성이 하나의 구성에서 실행될 수도 있다.
도 3은 본 발명의 바람직한 실시 예에 따른 도로 프로파일을 추정하는 과정을 도시한 흐름도이고, 도 4는 행 단위 정합 비용을 계산하는 실시 예를 도시한 도면이다.
도 3을 참조하면, 도로 프로파일을 추정하는 과정은 다음과 같다.
먼저 객체를 촬영하기 위한 복수의 촬영부로부터 촬영된 복수의 객체 영상을 획득할 수 있다(S100).
획득된 객체 영상은 복수 개로, 복수의 영상정보를 이용하여 행 단위 정합비용을 계산할 수 있다. 행 단위 정합 비용은 복수의 영상을 전체 행의 정보(행 전체 픽셀)를 비교하여 정합 비용이 계산될 수 있다(S110).
정합 비용을 계산한 후 정합 비용을 업 샘플링할 수 있다. 정합비용을 업 샘플링을 함으로써, 변이 값의 평균 변화량이 정수(바람직하게는1)이 되도록 정합비용을 보간해줄 수 있다(S120).
업 셈플링된 정합 비용은 집적단계(S130)를 통해 비 계수적(non-parametric) 도로 프로파일로 구해질 수 있다(S140).
비 계수적인 도로 프로파일은 모델 맞춤되어 계수적(parametric) 도로 프로파일을 획득할 수 있다(S150, S160).
영상 정보를 이용하여 행 단위로 정합비용을 계산하는 과정을 설명하면, 다음과 같다.
도 4를 참조하면, 정합비용을 계산하기 위하여 복수의 영상 정보를 이용할 수 있다. 복수의 영상 정보는 복수의 촬영부에 의해 촬영될 수 있다.
복수의 영상정보는 각각의 영상정보에서 각 행에 있는 모든 픽셀을 이용하여 정합비용을 계산할 수 있다. 각각의 영상정보에서 목표영상(우측영상)(B)과 참조영상(좌측영상)(A)을 비교할 수 있다.
예를 들어, 도로를 촬영할 수 있도록 설치된 복수의 촬영부를 이용하여 객체인 도로를 촬영한 경우, 좌측 촬영부에서 촬영된 좌측영상(A)을 참조영상으로 하고, 우측 촬영부에서 촬영된 우측영상을 목표영상(B)으로 하여 참조영상과 목표영상을 비교할 수 있다. 목표영상과 참조영상의 행 전체에서 대응되는 픽셀을 비교하며 변이 값만큼 전체 픽셀을 이동할 수 있다.
일반적인 스테레오 정합은 각 픽셀 별 깊이를 구하기 위해 픽셀(pixel) 단위 정합 비용을 계산할 수 있다. 반면에, 본 발명은 전체 행 정보를 이용하여 정합 비용을 계산할 수 있다.
영상정보의 각 행에서 도로가 차지하는 영역이 가장 크기 때문에 도로 영역에 해당하는 거리 정보를 확인할 수 있는데, 이를 통해 도로의 프로파일을 추정할 수 있다.
도 5는 본 발명의 바람직한 실시 예에 따른 도로 프로파일 추정장치가 차량에 설치된 실시 예를 도시한 도면이다.
도 5를 참조하면, 도로 프로파일 추정장치를 차량(500)에 설치한 실시 예를 기초로하여 정합비용 업 샘플링하는 방법을 설명하면 다음과 같다.
행 단위 정합 비용은 최소 변이 값과 최대 변이 값 사이의 모든 정수 값에 대해 정의될 수 있다. 여기서, 변이 값의 최대 값은 차량에 설치된 촬영부(카메라)(510)가 바라보는 각도(θ), 촬영부(510)의 설치 높이(지면으로부터 촬영부까지의 높이,H), 촬영부(510) 사이의 거리 그리고 촬영부(510) 내부 파라미터 중 적어도 하나 이상을 이용하여 계산될 수 있다.
바람직하게 차량에 설치된 촬영부(카메라)(510)가 바라보는 각도(θ), 촬영부(510)의 설치 높이(지면으로부터 촬영부까지의 높이,H), 촬영부(510) 사이의 거리 그리고 촬영부(510) 내부 파라미터 모두를 이용하여 최대(또는 최소) 변이 값을 도출해 낼 수 있고, 이를 통해 평균 변화량이 계산될 수 있다.
예를 들어, 일반적인 세단 자동차의 경우 촬영부(510)를 차량의 룸 미러에 설치하면, 영상의 가장 아래쪽에 보이는 도로(지면)와의 거리가 약 7m 정도가 될 수 있다. 7m에 해당되는 변이 값이 최대 변이 값으로 설정될 수 있다. 여기서, 도로의 보이는 부분은 촬영부(510)의 설치높이(H)에 따라 달라질 수 있다. 이는 수식으로 유도할 수도 있다.
이후 각 행 별로 최적의 거리 값(도로와의 거리)을 추정해야 하는데, 도로 영역에서의 세로방향으로의 변이 값의 변화가 1보다 훨씬 작기 때문에 기존 알고리즘을 사용하면 양자화 현상이 빈번하게 발생할 수 있다. 일반적으로 깊이 추정 알고리즘은 이산 최적화(discrete optimization) 알고리즘을 이용하기 때문에 1보다 작은 변화는 무시될 수 있고, 블록 현상이 발생할 수 있다.
또한 도로와 차량의 거리가 멀어짐에 따라 변이 값의 변화는 작아지며, 추정된 도로 프로파일 정보의 오차 또한 같이 커지게 된다.
본 발명에서는 복수의 영상 중 행 사이의 변이 값의 평균 변화량이 정수가 되도록 정합 비용을 보간해주는 정합 비용 업 샘플링을 수행할 수 있다. 바람직하게는 평균 변화량이 1이 되도록 정합 비용을 보간해주는 정합 비용 업 샘플링을 수행할 수 있다. 변이 값의 평균 변화량은 최대 변이 값을 영상의 지평선 높이로 나누어 구할 수 있는데, 여기서 지평선의 높이는 촬영부의 높이와 촬영부가 바라보는 각도 정보를 이용하여 계산될 수 있다.
다시 도 3을 참조하면, 업 샘플링된 정합 비용은 다양한 방식의 최적화 기법을 사용하여 최적의 해를 구할 수 있다. 여기서 정합 비용은 우도(likelihood)에 해당하며, 사전 지식은 다음과 같은 [수학식1] 의non-submodular 형태로 정의될 수 있다.
Figure 112017113685523-pat00001
여기서, mu는 변이 값의 평균 변화량, x는 행에 대한 인덱스, x-1은 x 바로 위 행을 일컫는다.
이와 같은 non-submodular는 다양한 최적화 알고리즘을 통해 해를 구할 수 있다. 다양한 최적화 알고리즘 중 예를 들어, 신뢰 전파(belief propagation) 또는 동적 프로그래밍(dynamic programming) 중 하나의 최적화 기법에 의해 구해질 수 있다.
각 행에 대해 가장 낮은 정합 비용을 갖는 변이 값(거리 정보)을 취함으로써, 비계수적(non-parametic) 도로 프로파일을 구할 수 있다. 대부분의 경우 도로는 선형적으로 변하기 때문에, 비계수적으로 구해진 도로 프로파일에 선분 맞춤(line fitting)을 통해 계수적 도로 프로파일로 나타낼 수 있다.
상기의 과정을 통해 획득된 도로 프로파일은 모델 맞춤되어 표시될 수 있다. 모델 맞춤은 비계수적 도로 프로파일에 대해 선분 맞춤(line fitting), 쌍곡선, 지수 함수및 B-spline 중 적어도 하나를 이용하여 계수적 도로 프로 파일을 획득할 수 있다.
비계수적(non-parametic) 도로 프로파일을 구하는 단계를 수행한 후 계수적(parametic) 도로 프로파일을 추정하는 단계를 선택적으로 수행할 수 있다. 계수적 프로파일 추정은 비 계수적 프로파일 추정 결과에 모델맞춤을 수행하고, 모델의 계수를 이용하여 계수적으로 프로파일을 나타낸 것이다.
도 6은 행 단위 정합 비용을 계산하여 모델 맞춤하여 그래프로 도시한 도면이고, 도 7은 계수적(parametric)으로 추정된 도로 프로파일을 도시한 도면이다.
도 6을 참조하면, 비계수적(non-parametric) 도로 프로파일을 모델 맞춤 단계에서 선분 맞춤을 통해 계수적(parametric) 도로 프로파일로 나타낼 수 있다.
도 7을 참조하면, 본 발명에 따른 도로 프로파일 추정장치를 이용하면,도로 프로파일은 현재 주행 중인 차량 전방의 도로의 형태를 계수적(parametric)으로 추정할 수 있다. 도면에서 붉은 선으로 나타낸 부분이다.
결과적으로, 본 발명에 의하면, 영상 정보를 이용하여 전방 도로의 프로파일을 강건하게 추정할 수 있어 다양한 환경 변화에도 강건한 도로 프로파일을 추정할 수 있다.
이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (14)

  1. 도로 영상을 촬영하는 촬영부; 및
    상기 촬영부에서 촬영한 복수의 영상에 대한 정합 비용을 이용하여 상기 도로 영상에 대한 도로 프로파일을 추정하는 프로파일 추정부를 포함하고,
    상기 프로파일 추정부는 상기 복수의 영상을 행 단위로 비교하여 정합 비용을 계산하는 계산부, 상기 계산한 정합 비용을 업 샘플링하는 업 샘플링부 및 상기 업 샘플링된 정합 비용을 집적하는 집적부를 포함하여 구성되고,
    상기 프로파일 추정부는 상기 집적된 정합 비용을 이용하여 도로 프로파일을 추정하는 것을 특징으로 하는 도로 프로파일 추정장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 업 샘플링부는,
    상기 복수의 영상 중 동일 행 사이의 변이 값의 평균 변화량이 정수가 되도록 정합 비용을 보간하는 도로 프로파일 추정장치.
  4. 제3항에 있어서,
    상기 업 샘플링부는,
    상기 촬영부의 촬영 각도, 상기 촬영부의 설치 높이, 둘 이상의 촬영부 사이의 거리 및 상기 촬영부의 내부 파라미터 중 적어도 하나 이상을 이용하여 상기 변이 값의 최대 값 및 최소 값을 계산하고, 이를 이용하여 상기 정합 비용을 보간하는 도로 프로파일 추정 장치.
  5. 제1항에 있어서,
    상기 집적부는,
    다양한 최적화 알고리즘 중 신뢰 전파(belief propagation) 및 동적 프로그래밍(dynamic programming) 중 적어도 하나 이상을 이용하여 최적의 해를 구하고, 이를 이용하여 상기 정합 비용을 집적하는 도로 프로파일 추정 장치.
  6. 제1항에 있어서,
    상기 프로파일 추정부는,
    상기 집적된 정합비용을 이용하여 비계수적(non-parametric) 도로 프로파일을 추정하되,
    상기 비계수적 도로 프로파일을 모델링하여 계수적(parametric) 프로파일을 득하는 것을 더 포함하는 도로 프로파일 추정 장치.
  7. 제6항에 있어서,
    상기 프로파일 추정부는,
    상기 비계수적 도로 프로파일에 대해 선분 맞춤(line fitting), 쌍곡선, 지수 함수 및 B-spline 중 적어도 하나 이상을 이용하여 계수적 도로 프로 파일을 획득하는 도로 프로파일 추정 장치.
  8. 도로에 대한 영상을 촬영하는 단계; 및
    상기 촬영된 복수의 영상에 대한 정합 비용을 이용하여 상기 도로 영상에 대한 도로 프로파일을 추정하는 단계를 포함하고,
    상기 도로 프로파일을 추정하는 단계는 상기 복수의 영상을 행 단위로 비교하여 정합 비용을 계산하는 단계, 상기 계산한 정합 비용을 업 샘플링하는 업 샘플링 단계 및 상기 업 샘플링된 정합 비용을 집적하여 도로 프로파일을 획득하는 단계를 포함하여 구성되는 것을 특징으로 하는 도로 프로파일 추정 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 업 샘플링 단계는,
    상기 복수의 영상 중 동일 행 사이의 변이 값의 평균 변화량이 정수가 되도록 정합 비용을 보간하는 단계를 더 포함하는 도로 프로파일 추정 방법.
  11. 제10항에 있어서,
    상기 업 샘플링 단계는,
    상기 복수의 영상을 촬영하는 촬영부의 촬영 각도, 상기 촬영부의 설치 높이, 상기 촬영부 간의 거리 및 상기 촬영부의 내부 파라미터 중 적어도 하나 이상을 이용하여 상기 변이 값의 최대 값 및 최소 값이 계산되는 도로 프로파일 추정 방법.
  12. 제8항에 있어서,
    상기 정합 비용을 집적하여 도로 프로파일을 획득하는 단계는,
    다양한 최적화 알고리즘 중 신뢰 전파(belief propagation) 또는 동적 프로그래밍(dynamic programming) 중 하나를 이용하여 최적의 해를 구하는 도로 프로파일 추정 방법.
  13. 제8항에 있어서,
    상기 도로 프로파일을 획득하는 단계는,
    상기 도로 영상의 복수의 행에 각각에 대해 정합 비용을 최소로 하는 변이 값을 획득하여 비계수적(non-parametric) 도로 프로파일을 획득하는 단계를 포함하는 도로 프로파일 추정 방법.
  14. 제13항에 있어서,
    상기 도로 프로파일을 획득하는 단계는,
    상기 비계수적 도로 프로파일에 대해 선분 맞춤(line fitting), 쌍곡선, 지수 함수및 B-spline 중 적어도 하나를 이용하여 계수적 도로 프로 파일을 획득하는 도로 프로파일 추정 방법.
KR1020170152559A 2017-11-15 2017-11-15 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법 KR102042315B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170152559A KR102042315B1 (ko) 2017-11-15 2017-11-15 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170152559A KR102042315B1 (ko) 2017-11-15 2017-11-15 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법

Publications (2)

Publication Number Publication Date
KR20190055633A KR20190055633A (ko) 2019-05-23
KR102042315B1 true KR102042315B1 (ko) 2019-11-07

Family

ID=66681290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170152559A KR102042315B1 (ko) 2017-11-15 2017-11-15 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법

Country Status (1)

Country Link
KR (1) KR102042315B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera
JP5799784B2 (ja) 2011-12-06 2015-10-28 富士通株式会社 道路形状推定装置及びプログラム
KR101566910B1 (ko) * 2014-07-09 2015-11-13 현대모비스 주식회사 차량 운전 보조 장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera
JP5799784B2 (ja) 2011-12-06 2015-10-28 富士通株式会社 道路形状推定装置及びプログラム
KR101566910B1 (ko) * 2014-07-09 2015-11-13 현대모비스 주식회사 차량 운전 보조 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20190055633A (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
US11354891B2 (en) Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US10097812B2 (en) Stereo auto-calibration from structure-from-motion
CN108520536B (zh) 一种视差图的生成方法、装置及终端
JP6142611B2 (ja) ステレオマッチングのための方法及びステレオマッチングのためのシステム
KR101566910B1 (ko) 차량 운전 보조 장치 및 그 동작 방법
JP4814669B2 (ja) ３次元座標取得装置
US9361696B2 (en) Method of determining a ground plane on the basis of a depth image
CN110493488B (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
US20090190800A1 (en) Vehicle environment recognition system
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
US11263758B2 (en) Image processing method and apparatus
JP2009176090A (ja) 環境認識装置
WO2015025897A1 (ja) 対象物推定装置および対象物推定方法
CN107909036B (zh) 一种基于视差图的道路检测方法及装置
DE102015201953A1 (de) System und Verfahren zum Erzeugen einer Tiefenkarte durch iterative Interpolation und Krümmung
CN109493373B (zh) 一种基于双目立体视觉的立体匹配方法
EP3082069A1 (en) Stereoscopic object detection device and stereoscopic object detection method
US9928430B2 (en) Dynamic stixel estimation using a single moving camera
US11713044B2 (en) Vehicle for estimation a state of the other vehicle using reference point of the other vehicle, and method of controlling the vehicle
JP2015179499A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR102042315B1 (ko) 도로 프로파일 추정장치 및 이를 이용한 도로 프로파일 추정 방법
CN105335934A (zh) 视差图计算方法和装置
JP5388059B2 (ja) 背景画像推定に基づく物体検出方法及び物体検出装置
Chumerin et al. Ground plane estimation based on dense stereo disparity
CN111695379B (zh) 基于立体视觉的地面分割方法、装置、车载设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right