KR101676656B1

KR101676656B1 - 장애물 검출 장치 및 장애물 검출 방법

Info

Publication number: KR101676656B1
Application number: KR1020140186267A
Authority: KR
Inventors: 서성진; 김종환; 조준범
Original assignee: 현대모비스 주식회사
Priority date: 2014-12-22
Filing date: 2014-12-22
Publication date: 2016-11-16
Also published as: CN105718853A; JP6291469B2; JP2016119085A; US20160180181A1; US9665782B2; CN105718853B; KR20160076271A; DE102015121387A1; DE102015121387B4

Abstract

본 발명은 복수의 차량 전방 영상을 출력하는 스테레오카메라, 상기 복수의 차량 전방 영상에서 공통되는 지점에 특징점을 설정하여 상기 특징점간의 거리를 구하는 영상매칭부, 상기 각 특징점이 같은 공간에 있는 것으로 추정되는 면을 산출하는 면산출부, 상기 산출된 면의 방향을 분석하여 상기 차량 전방 영상을 촬영하는 카메라와 마주보는 면을 산출하는 인접면산출부 및 상기 카메라와 마주보는 면에서 관심영역을 설정하여 장애물을 검출하는 장애물검출부를 포함하는 장애물 검출 장치에 관한 것이다.

Description

장애물 검출 장치 및 장애물 검출 방법{Apparatus and method for detecting obstacle}

본 발명은 장애물 검출 장치에 관한 것으로, 보다 상세하게는 스테레오카메라가 출력한 차량 전방 영상에서 특징점을 설정하여 같은 공간의 면을 산출하며, 법선을 구하여 인접하는 면을 합하고, 법선의 방향으로 장애물을 검출하는 장애물 검출 장치 및 장애물 검출 방법에 관한 것이다.

최근 차량 전방의 물체를 감지하여, 그에 따라 차량을 제어하는 기술이 많은 차량에 적용되고 있다. 특히 스테레오 카메라를 이용하여 차량 주변의 물체를 감지하는 기술이 점점 많아지고 있고 있다.

그런데 기존의 스테레오 카메라를 이용한 물체 감지 장치는 알고리즘 복잡도가 큰 나머지 실시간으로 처리되어야 하는 차량 주변 영상을 처리하는데 어려움이 있었다. 차량 주변의 물체를 감지하는 것은 운전자, 보행자 및 타 차량 운전자의 안전과 직결되는 기술이다. 최근에는 차량에서 촬영한 영상을 더욱 빠르게 처리하여 차량 주변의 장애물을 검출하는 기술이 연구 중에 있다.

본 발명이 해결하고자 하는 과제는 스테레오카메라가 출력한 차량 전방 영상에서 특징점을 설정하여 같은 공간의 면을 산출하며, 법선을 구하여 인접하는 면을 합하고, 법선의 방향으로 장애물을 검출하는 장애물 검출 장치를 제공함에 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 장애물 검출 장치는, 복수의 차량 전방 영상을 출력하는 스테레오카메라, 상기 차량 전방 영상들에서 공통되는 지점에 특징점을 설정하여 상기 특징점간의 거리를 구하는 영상매칭부, 상기 각 점이 같은 공간에 있는 것으로 추정되는 면을 산출하는 면산출부, 상기 산출된 면의 방향을 분석하여 상기 차량 전방 영상을 촬영하는 카메라와 마주보는 면을 산출하는 인접면산출부 및 상기 카메라와 마주보는 면에서 관심영역을 설정하여 장애물을 검출하는 장애물검출부를 포함한다.

상기 영상매칭부는 상기 영상들에서 설정된 값 이상의 에지(edge)에서 뎁스(depth)만을 산출한다.

상기 인접면산출부는 상기 산출된 면에 수직하는 법선을 산출한다.

상기 인접면산출부는 상기 산출된 면 중에서 유사한 법선을 가진 상기 산출된 면을 하나의 면으로 합한다.

상기 장애물검출부는 상기 합해진 면의 법선이 상기 스테레오카메라를 향할 때 상기 합해진 면을 상기 장애물로 판단한다.

상기 장애물검출부는 상기 합해진 면의 법선이 상기 스테레오카메라와 수직인 방향을 향할 때 상기 합해진 면을 도로면으로 판단한다.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 장애물 검출 방법은, 복수의 차량 전방 영상을 출력하는 단계, 상기 복수의 차량 전방 영상에서 공통되는 지점에 특징점을 설정하여 상기 특징점 간의 거리를 구하는 단계, 상기 각 특징점이 같은 공간에 있는 것으로 추정되는 면을 산출하는 단계, 상기 산출된 면의 방향을 분석하여 상기 차량 전방 영상을 촬영하는 카메라와 마주보는 면을 산출하는 단계 및 상기 카메라와 마주보는 면에서 관심영역을 설정하여 장애물을 검출하는 단계를 포함한다.

상기 특징점 간 거리를 구하는 단계는 상기 영상들에서 설정된 값 이상의 에지(edge)에서 뎁스(depth)를 산출한다.

상기 카메라와 마주보는 면을 산출하는 단계는 상기 산출된 면에 수직하는 법선을 산출한다.

상기 카메라와 마주보는 면을 산출하는 단계는 상기 산출된 면 중에서 유사한 법선을 가진 상기 산출된 면을 하나의 면으로 합한다.

상기 장애물 검출 단계는 상기 합해진 면의 법선이 상기 스테레오카메라를 향할 때 상기 합해진 면을 상기 장애물로 판단한다.

상기 장애물 검출 단계는 상기 합해진 면의 법선이 상기 스테레오카메라와 수직인 방향을 향할 때 상기 합해진 면을 도로면으로 판단한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 장애물 검출 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째,　설정된 값 이상의 에지(edge)에서 뎁스(depth)만을 산출함으로써 희소(Sparse)한 뎁스를 이용하는 장점이 있다.

둘째,　산출된 면에 수직하는 법선을 산출함으로써 법선의 방향으로 카메라와 마주보는 면을 산출하는 장점도 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시례에 따른 장애물 검출 장치의 구성을 도시한 구성도이다.
도 2는 일실시례에 따른 인접면산출부가 임의의 점에서 법선 벡터 Ni를 산출한 결과를 도시한 것이다.
도 3은 특징점 간에 면을 합한 모습과 면의 바라보는 방향에 따라 컬러 세그멘테이션을 수행한 모습을 도시한 것이다.
도 4는 도 1에 도시한 구성에 의한 장애물 검출 방법의 제어 흐름을 도시한 제어흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 의하여 장애물 검출 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 도 1은 본 발명의 일실시례에 따른 장애물 검출 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 장애물 검출 장치는 스테레오카메라(100), 영상매칭부(200), 면산출부(300), 인접면산출부(400) 및 장애물검출부(500)를 포함한다.

일실시례에 따른 스테레오카메라(100)는 복수의 차량 전방 영상을 출력한다. 스테레오카메라(100)는 차량 전방 영상을 촬영하여 영상매칭부(200)에 출력한다. 스테레오카메라(100)는 스테레오카메라(100)의 스테레오카메라(100)의 왼쪽 렌즈가 촬영한 좌측 영상 및 스테레오카메라(100)의 오른쪽 렌즈가 촬영한 우측 영상을 출력한다.

일실시례에 따른 영상매칭부(200)는 복수의 차량 전방 영상 내의 왜곡에 대해 캘리브래이션(calibration)을 수행한다. 영상매칭부(200)는 복수의 차량 전방 영상이 광각렌즈에 의해 촬영됨으로써 왜곡된 영상을 보정한다. 영상매칭부(200)는 복수의 차량 전방의 영상에 형성된 핀쿠션 디스토션(Pin cushion distortion)을 보정할 수 있다. 영상매칭부(200)는 복수의 차량 전방의 영상에 형성된 배럴 디스토션(Barrel distortion)을 보정할 수 있다. 영상매칭부(200)는 복수의 차량 전방의 영상에 형성된 래디얼 디스토션(Radial distortion)을 보정할 수 있다. 영상매칭부(200)는 복수의 차량 전방의 영상에 형성된 탄젠션 디스토션(Tangential distortion)을 보정할 수 있다.

영상매칭부(200)는 출력된 복수의 차량 전방 영상 내의 왜곡에 대해 랙터피케이션(rectification)을 수행한다. 영상매칭부(200)는 좌측 영상 및 우측 영상을 교차시켜 교차하는 영상을 나란한 수평 상(Scanline)의 포인트와 일치하게 영상으로 만들 수 있다.

영상매칭부(200)는 복수의 차량 전방 영상에서 공통되는 지점에 특징점을 설정하여 특징점 간의 거리를 구한다. 영상매칭부(200)는 상기 영상들에서 설정된 값 이상의 에지(edge)에서 뎁스(depth)를 산출한다. 영상매칭부(200)는 점의 집합 형태의 뎁스를 산출한다.

영상매칭부(200)는 좌측 영상 및 우측 영상에서 대응점(corresponding point)를 찾아서 삼각점(Triangulation point)을 산출한다. 영상매칭부(200)는 복수의 차량 전방 영상 내에서 재배치된 픽셀의 공간적 위치 변위량(Transformation)을 산출한다. 영상매칭부(200)는 복수의 차량 영상 내에서 재배치된 픽셀의 영상 회전 변위량(Rotation)을 산출한다. 영상매칭부(200)는 복수의 차량 전방 영상에서 평균적인 정보 값을 가지는 평균 영상을 산출한다.

영상매칭부(200)는 차량 전방 영상에서 명암을 표현하는 조명 성분에 대한 정보를 산출한다. 영상매칭부(200)는 산출된 조명 성분에 대한 정보와 입력받은 영상의 정보를 컨벌루션(Convolution)하여 평균 영상을 산출한다.

영상매칭부(200)는 평균 영상을 이용하여 차량 전방 영상에서 객체의 특징을 표현하는 반사 성분에 대한 정보를 산출한다. 영상매칭부(200)는 차량 전방 영상의 픽셀의 좌표에 따라 차량 전방 영상의 픽셀 정보값에서 산출된 평균 영상의 픽셀 정보값을 제거하여 반사 성분에 대한 정보를 산출한다.

영상매칭부(200)는 산출된 반사 성분에 대한 정보를 압축한다. 영상매칭부(200)는 반사 성분에 대한 정보를 산출하여 산출된 반사 성분에 대한 정보를 로그(log) 스케일화한다.

영상매칭부(200)는 동적 프로그램 방식(Dynamic programmimg)을 이용하여 영상의 스테레오 매칭을 수행할 수 있다. 영상매칭부(200)는 스테레오 매칭을 수행하여 시차맵(Disparity map)을 생성한다. 영상매칭부(200)는 일실시례에 따라 ELAS(Efficient LArge-scale Stereo) 스테레오 매칭 방식에 의해 선 간의 연결을 통해 삼각형을 그려 뎁스를 산출할 수도 있다. 영상매칭부(200)는 산출된 뎁스를 면산출부에 출력한다. 영상매칭부(200)는 산출된 뎁스를 인접면산출부(400)에 출력한다.

면산출부(300)는 각 특징점이 같은 공간에 있는 것으로 추정되는 면을 산출한다. 면산출부(300)는 차량 전방 영상에 컬러 세그멘테이션(color segmentation)을 수행하여 면을 산출한다. 면산출부(300)는 차량 전방 영상에서 점 사이에서 선을 연결하여 면을 산출할 수 있다. 면산출부(300)가 컬러 세그멘테이션(color segmentation)을 수행한 모습은 도 3에 도시하였다.

인접면산출부(400)는 산출된 면의 방향을 분석하여 차량 전방 영상을 촬영하는 카메라와 마주보는 면을 산출한다. 인접면산출부(400)는 산출된 면에 수직하는 법선을 산출한다. 인접면산출부(400)는 면의 법선을 면산출부(300)에 출력할 수 있다.

인접면산출부(400)는 영상매칭부(200)가 출력한 점의 집합의 형태의 뎁스를 수신할 수 있다. 인접면산출부(400)는 법선을 구하고자 하는 점을 기준으로 주위 픽셀들의 데이터 점으로 벡터를 구성하여 법선을 산출한다. 인접면산출부(400)가 법선을 구하는 과정은 도 2에서 추후 설명한다.

인접면산출부(400)는 카메라와 마주보는 면에서 관심영역을 설정하여 장애물을 검출한다. 인접면산출부(400)는 산출된 면 중에서 유사한 법선을 가진 상기 산출된 면을 하나의 면으로 합한다. 인접면산출부(400)는 법선이 향하는 방향이 설정된 범위 이내이면 법선이 유사한 것으로 판단할 수 있다. 인접면산출부(400)가 인접하는 면을 합한 모습은 도 3(a)에 도시하였다.

장애물검출부(500)는 카메라와 마주보는 면에서 관심영역(ROI, Region of interest)을 설정하여 장애물을 검출한다. 장애물검출부(500)는 합해진 면의 법선이 스테레오카메라를 향할 때 합해진 면을 상기 장애물로 판단한다. 장애물검출부(500)는 합해진 면의 법선이 스테레오카메라와 수직인 방향을 향할 때 합해진 면을 도로면으로 판단한다.

도 2는 일실시례에 따른 인접면산출부(400)가 임의의 점에서 법선 벡터 Ni를 산출한 결과를 도시한 것으로서, 도 2(a)는 뎁스 맵의 픽셀을 나타내며, 도 2(b)는 3차원 점 집합 데이터를 나타낸다. 인접면산출부(400)는 뎁스 맵 상에서 점 Pi를 중심으로 픽셀 상으로 상하좌우에 위치한 네 점을 선택하고 도 2(b)의 3차원 점 집합 데이터 상에서 도 2(a)에서 선택된 네 점들을 찾아 픽셀 상으로 좌우에 위치한 점 간의 벡터와 상하에 위치한 점 간의 벡터를 구성한 후, 두 벡터간의 외적을 계산하여 법선을 산출할 수 있다.

도 3은 특징점 간에 면을 합한 모습과 면의 바라보는 방향에 따라 컬러 세그멘테이션을 수행한 모습을 도시한 것이다. 도 3(a)에서 인접면산출부(400)가 인접하는 면을 합한 모습은 도 3(a)에 도시하였다. 도 3(b)에서 인접면산출부(400)부가 산출한 면이 바라보는 방향이 스테레오카메라(100)가 바라보는 방향에 수직인 면을 붉은색으로 도시된다. 인접면산출부(400)가 산출한 면이 바라보는 방향이 스테레오카메라(100)가 바라보는 방향과 다른 방향의 면을 파랑색으로 도시된다.

도 4는 도 1에 도시한 구성에 의한 장애물 검출 방법의 제어 흐름을 도시한 제어흐름도이다.

일실시례에 따른 스테레오카메라(100)는 복수의 차량 전방 영상을 출력한다(S100). 스테레오카메라(100)는 차량 전방 영상을 촬영하여 영상매칭부(200)에 출력한다. 스테레오카메라(100)는 스테레오카메라(100)의 스테레오카메라(100)의 왼쪽 렌즈가 촬영한 좌측 영상 및 스테레오카메라(100)의 오른쪽 렌즈가 촬영한 우측 영상을 출력한다.

영상매칭부(200)는 복수의 차량 전방 영상에서 공통되는 지점에 특징점을 설정하여 특징점 간의 거리를 구한다(S110). 영상매칭부(200)는 상기 영상들에서 설정된 값 이상의 에지(edge)에서 뎁스(depth)를 산출한다. 영상매칭부(200)는 점의 집합 형태의 뎁스를 산출한다.

면산출부(300)는 각 특징점이 같은 공간에 있는 것으로 추정되는 면을 산출한다(S120). 면산출부(300)는 차량 전방 영상에 컬러 세그멘테이션(color segmentation)을 수행하여 면을 산출한다. 면산출부(300)는 차량 전방 영상에서 점 사이에서 선을 연결하여 면을 산출할 수 있다. 면산출부(300)가 컬러 세그멘테이션(color segmentation)을 수행한 모습은 도 3에 도시하였다.

인접면산출부(400)는 산출된 면의 방향을 분석하여 차량 전방 영상을 촬영하는 카메라와 마주보는 면을 산출한다(S130). 인접면산출부(400)는 산출된 면에 수직하는 법선을 산출한다. 인접면산출부(400)는 면의 법선을 면산출부(300)에 출력할 수 있다.

장애물검출부(500)는 카메라와 마주보는 면에서 관심영역(ROI, Region of interest)을 설정하여 장애물을 검출한다(S140). 장애물검출부(500)는 합해진 면의 법선이 스테레오카메라를 향할 때 합해진 면을 상기 장애물로 판단한다. 장애물검출부(500)는 합해진 면의 법선이 스테레오카메라와 수직인 방향을 향할 때 합해진 면을 도로면으로 판단한다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : 스테레오카메라
200 : 영상매칭부
300 : 면산출부
400 : 인접면산출부
500 : 장애물검출부

Claims

복수의 차량 전방 영상을 출력하는 스테레오카메라;
상기 복수의 차량 전방 영상에서 공통되는 지점에 특징점을 설정하여 상기 특징점 간의 거리를 구하는 영상매칭부;
상기 각 특징점이 같은 공간에 있는 것으로 추정되는 면을 산출하는 면산출부;
상기 산출된 면의 방향을 분석하여 상기 차량 전방 영상을 촬영하는 카메라와 마주보는 면을 산출하는 인접면산출부; 및
상기 카메라와 마주보는 면에서 관심영역을 설정하여 장애물을 검출하는 장애물검출부;를 포함하고
상기 인접면산출부는
상기 산출된 면에 수직하는 법선을 산출하고,
상기 산출된 면 중에서 유사한 법선을 가진 상기 산출된 면을 하나의 면으로 합하며,
상기 장애물검출부는
상기 합해진 면의 상기 법선이 상기 스테레오카메라를 향할 때 상기 합해진 면을 상기 장애물로 판단하는 장애물 검출 장치.
제 1 항에 있어서
상기 영상매칭부는 상기 차량 전방 영상들에서 설정된 값 이상의 에지(edge)에서 뎁스(depth)를 산출하는 장애물 검출 장치.
삭제
삭제
삭제
제 1 항에 있어서
상기 장애물검출부는 합해진 면의 상기 법선이 상기 스테레오카메라와 수직인 방향을 향할 때 상기 합해진 면을 도로면으로 판단하는 장애물 검출 장치.
복수의 차량 전방 영상을 출력하는 단계;
상기 복수의 차량 전방 영상에서 공통되는 지점에 특징점을 설정하여 상기 특징점 간의 거리를 구하는 단계;
상기 각 특징점이 같은 공간에 있는 것으로 추정되는 면을 산출하는 단계;
상기 산출된 면의 방향을 분석하여 상기 차량 전방 영상을 촬영하는 카메라와 마주보는 면을 산출하는 단계; 및
상기 카메라와 마주보는 면에서 관심영역을 설정하여 장애물을 검출하는 단계; 를 포함하고
상기 카메라와 마주보는 면을 산출하는 단계는 상기 산출된 면에 수직하는 법선을 산출하고,상기 산출된 면 중에서 유사한 법선을 가진 상기 산출된 면을 하나의 면으로 합하며,
상기 장애물 검출 단계는 상기 합해진 면의 상기 법선이 상기 카메라를 향할 때 상기 합해진 면을 상기 장애물로 판단하는 장애물 검출 방법.
제 7 항에 있어서
상기 특징점 간 거리를 구하는 단계는 상기 차량 전방 영상들에서 설정된 값 이상의 에지(edge)에서 뎁스(depth)를 산출하는 장애물 검출 방법.
삭제
삭제
삭제
제 7 항에 있어서
상기 장애물 검출 단계는 합해진 면의 상기 법선이 상기 카메라와 수직인 방향을 향할 때 상기 합해진 면을 도로면으로 판단하는 장애물 검출 방법.