KR20160136757A - 단안 카메라를 이용한 장애물 검출장치 - Google Patents

Abstract

본 발명은 차량이 이동하면서 촬영한 두 시점의 영상을 이용하여 장애물 정보를 검출하는 단안 카메라를 이용한 장애물 검출장치를 제공하는 것을 목적으로 한다. 이를 위해 본 발명은 영상을 출력하는 카메라; 상기 카메라가 출력하는 임의의 두 시점(t1, t0)의 영상을 이용하여 스테레오 영상을 구성하고, 상기 스테레오 영상으로부터 특징점을 추출하여 물체의 움직임을 추적 후, 3차원 좌표를 기반으로 장애물을 검출하여 임의의 기준위치에서 상기 검출된 장애물까지의 거리정보와 상기 카메라가 출력하는 영상이 디스플레이되도록 제어하는 제어부; 및 상기 제어부에서 출력되는 거리정보와 영상을 수신하여 표시되도록 하는 디스플레이부를 포함한다. 따라서 본 발명은 단안 카메라를 이용하여 차량이 이동하면서 촬영한 두 시점의 영상을 이용하여 장애물 정보의 검출 및 경고와 장애물까지의 거리 정확도를 개선할 수 있는 장점이 있다.

Description

단안 카메라를 이용한 장애물 검출장치{APPARATUS FOR DETECTING OBSTACLE USING MONOCULAR CAMERA}

본 발명은 단안 카메라를 이용한 장애물 검출장치에 관한 발명으로서, 더욱 상세하게는 차량이 이동하면서 촬영한 두 시점의 영상을 이용하여 장애물 정보를 검출하는 단안 카메라를 이용한 장애물 검출장치에 관한 것이다.

차량의 충돌 회피 시스템은 보행자 또는 제어 차량과는 다른 차량(즉, 그 시스템이 장착되지 않은 차량)이나 장애물과 같은 물체를 정확히 검출하는데 필요하다.

일본 특허출원공개번호 제2006-292475에 개시된 차량 충돌 회피 시스템은 레이더 및 카메라를 이용하여 물체를 검출하도록 구성된다.

더욱 구체적으로, 개시된 차량 충돌 회피 시스템은 밀리미터파 레이더(millimeter-wave radar) 및 입체 카메라(stereoscopic camera)를 개별적으로 이용하며, 밀리미터파 레이더에 의해 검출된 물체와 입체 카메라에 의해 검출된 물체간의 위치적 상관 관계가 사전 설정된 기준을 만족하면, 그 물체들이 동일한 것으로 판정한다.

개시된 차량 충돌 회피 시스템에 대한 대안적인 차량 충돌 회피 시스템에서는, 입체 카메라 대신에 단안 카메라(monocular camera)가 이용될 것으로 예상된다.

그러나, 단안 카메라 및 입체 카메라는 위치, 특히 제어 차량에 대해 상대적인 물체의 전방 거리를 검출하는 원리에 있어서 서로 간에 전혀 다르며, 단안 카메라에 의해 물체의 전방 거리를 검출하는 정확성은 입체 카메라에 의해 물체의 전방 거리를 검출하는 정확성보다 현저하게 낮다.

그러므로, 입체 카메라를 단안 카메라로 대체하면 물체의 적절한 검출을 수행할 수 없는 문제점이 있다.

일본 특허출원공개번호 제2006-292475호(발명의 명칭: 차량 충돌 회피 시스템)

이러한 문제점을 해결하기 위하여, 본 발명은 차량이 이동하면서 촬영한 두 시점의 영상을 이용하여 장애물 정보를 검출하는 단안 카메라를 이용한 장애물 검출장치를 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명은 단안 카메라를 이용한 장애물 검출장치로서, 영상을 출력하는 카메라; 상기 카메라가 출력하는 임의의 두 시점(t1, t0)의 영상을 이용하여 스테레오 영상을 구성하고, 상기 스테레오 영상으로부터 특징점을 추출하여 물체의 움직임을 추적 후, 3차원 좌표를 기반으로 장애물을 검출하여 임의의 기준위치에서 상기 검출된 장애물까지의 거리정보와 상기 카메라가 출력하는 영상이 디스플레이되도록 제어하는 제어부; 및 상기 제어부에서 출력되는 거리정보와 영상을 수신하여 표시되도록 하는 디스플레이부를 포함한다.

또한, 본 발명에 따른 상기 카메라는 단안식 카메라(Monocular Camera)인 것을 특징으로 한다.

또한, 본 발명에 따른 상기 제어부는 대상 물체의 장애물 여부를 판별하기 위해 서로 다른 시점에서 획득한 영상의 매칭점 분석을 통해 특징점을 추출하고, 영상에서 동일 물체인지 여부를 판별하기 위해 상기 대상 물체의 특징점을 추적하며, 2차원 좌표에서 3차원 좌표로 변환한 공간에서 이동에 의한 상기 특징점의 3차원 좌표를 추적하여 대상 물체의 거리를 추정하는 거리 추출부; 장애물 검출 프로그램을 통해 장애물을 검출하고, 3차원 좌표 분석을 통해 상기 검출된 장애물의 높이를 분석하여 장애물 여부를 판단하는 장애물 검출부; 및 미리 설정된 임의의 기준위치에서 상기 장애물과의 사이에 안전영역과, 상기 장애물이 포함된 위험영역 중 적어도 하나를 나타낸 경고영역이 표시되도록 제어하는 장애물 경고부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 상기 거리 추출부는 영상 좌표가 카메라를 원점으로 하는 탑뷰(Top View) 좌표로 변환하여 출력하는 것을 특징으로 한다.

또한, 본 발명에 따른 상기 장애물 검출부는 연산량의 감소와 오인식을 방지하기 위해 상기 경고영역 내부의 특징점에 대해서만 장애물 검출 대상으로 판단하는 것을 특징으로 한다.

또한, 본 발명에 따른 상기 장애물 검출부는 특징점의 위치 변화를 분석하여 미리 설정된 허용범위 이상으로 위치 변화가 발생한 물체는 장애물 검출 대상에서 제거하는 것을 특징으로 한다.

또한, 본 발명에 따른 상기 기준위치는 차량의 범퍼인 것을 특징으로 한다.

또한, 본 발명에 따른 상기 장애물 경고부는 상기 장애물이 포함된 위험영역을 그라데이션으로 블랜딩한 효과, 깜박임 효과 중 적어도 하나를 통해 강조하여 디스플레이되도록 하는 것을 특징으로 한다.

본 발명은 단안 카메라를 이용하여 차량이 이동하면서 촬영한 두 시점의 영상을 이용하여 장애물 정보의 검출 및 경고와 장애물까지의 거리 정확도를 개선할 수 있는 장점이 있다.

도 1 은 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치를 개략적으로 나타낸 예시도.
도 2 는 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치의 구성을 나타낸 블록도.
도 3 은 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치의 제어부 구성을 나타낸 블록도.
도 4 는 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치의 장애물 경고과정을 나타낸 예시도.
도 5 는 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치의 디스플레이부 출력화면을 나타낸 예시도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치의 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치를 개략적으로 나타낸 예시도이고, 도 2는 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치의 구성을 나타낸 블록도이며, 도 3은 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치의 제어부 구성을 나타낸 블록도다.

도 1 내지 도 3에 나타낸 바와 같이, 본 발명에 따른 단안 카메라를 이용한 장애물 검출장치(100)는 차량에 설치되어 주차시에 장애물 정보를 시각화하여 표현함으로써, 거리감을 개선하고, 주차 안전성을 향상시킬 수 있도록 카메라(110)와, 제어부(120)와, 디스플레이부(130)를 포함하여 구성된다.

상기 카메라(110)는 차량(200)의 후방을 촬영한 영상을 출력하는 구성으로서, 차량의 트렁크 도어, 실내 후측 또는 차량 외부의 임의의 위치에 설치되어 후방 영상을 촬영하고, 상기 카메라(110)는 필요에 따라 다양한 위치에 설치할 수 있다.

상기 카메라(110)는 CMOS 센서, CCD 센서 등의 촬영소자를 이용한 카메라로 이루어지고, 이에 한정되는 것은 아니며 임의의 촬영 가능한 소자를 사용한 카메라를 사용하는 것도 무방하다.

또한, 상기 카메라(110)는 단안식 카메라(Monocular Camera)로 구성되며, 상기 카메라(110)에는 광각 렌즈(또는 어안 렌즈)와 같이 화각이 큰 렌즈가 설치될 수도 있다.

상기 제어부(120)는 카메라(110)가 출력하는 임의의 두 시점(t1, t0)의 영상을 이용하여 스테레오 영상을 구성하고, 상기 스테레오 영상으로부터 특징점을 추출하여 물체의 움직임을 추적 후, 3차원 좌표를 기반으로 장애물(300)을 검출하여 임의의 기준위치에서 상기 검출된 장애물(300)까지의 거리정보와 상기 카메라(110)가 출력하는 영상이 디스플레이되도록 제어하는 구성으로서, 거리 측정부(121), 장애물 검출부(122), 장애물 경고부(123)를 포함하여 구성된다.

즉 임의의 과거 시점(t1)에 차량(200)의 카메라(110)가 촬영한 장애물(300)이 포함된 영상과, 일정 거리(d) 이동한 후 임의의 시점(t0)에 차량(200)의 카메라(110)가 촬영한 장애물(300)이 포함된 영상을 스테레오 영상으로 구성한다.

상기 거리 측정부(121)는 대상 물체의 장애물 여부를 판별하기 위해 서로 다른 시점에서 획득한 영상의 매칭점 분석을 통해 특징점을 추출하고, 동영상에서 동일 물체인지 여부를 판별하기 위해 상기 대상 물체의 특징점을 추적하며, 2차원 좌표에서 3차원 좌표로 변환한 공간에서 이동에 의한 상기 특징점의 3차원 좌표를 추적하여 대상 물체의 거리를 추정한다.

상기 거리 측정부(121)는 장애물 판별시 오류를 최소화하기 위해서 추적이 용이한 특징점을 선정하고, 과도한 특징점 추출로 인한 처리속도의 저하를 방지하기 위해 임의의 개수를 특징점으로 추출한다.

또한, 상기 거리 측정부(121)는 Shi & Tomasi 특징점 추출법을 이용하여 획득한 영상을 그레이 스케일(Gray Scale)로 변환하여 추적하고, 소벨 연산자를 사용하여 2차 미분을 계산한 후 상기 2차 미분의 고유값을 계산하여 특징점의 품질을 판단한다.

상기 2차 미분과 자기상관행렬의 고유값만 고려하기 때문에 회전에 불변한 특성을 유지하므로, 추적 알고리즘에 최적화된 객체가 회전하여도 추적이 용이한 특징점을 추출한다.

또한, 상기 거리 측정부(121)는 특징점 좌표를 서브 픽셀 정밀도로 위치 보정하여 움직임 추적에 사용하고, 최초 실행시 관심영역을 전체에 대하여 그 후에는 등록된 특징점을 제외한 영역에서 특징점을 추출하며, 연산량을 고려하여 최대 150개의 특징점을 사용한다.

또한, 상기 거리 측정부(121)는 영상에서 동일 물체인지 여부를 판별하기 위해 상기 영상에서 옵티컬 플로우(Optical Flow)를 이용하여 특징점의 프레임 사이의 움직임 정보를 추적하고, 희소 옵티컬 플로우(Sparse Optical Flow)를 통해 미리 지정된 추적점에 대한 움직임을 추적할 수 있다.

또한, 상기 옵티컬 플로우에 의한 추적시 객체상의 픽셀은 프레임이 바뀌어도 밝기 값은 변하지 않는 밝기 항상성과, 연속된 프레임 사이의 움직임은 빠르지 않은 시간 지속성과, 공간적으로 서로 인접한 점들은 동일 객체에 속할 가능성이 높은 공간 일관성에 기초하여 바탕으로 특징점을 추적한다.

또한, 상기 거리 추출부(121)는 카메라(110)의 기하학 정보를 장애물 검출과 디스플레이에 활용할 수 있도록 영상 좌표가 카메라(110)를 원점으로 하는 탑뷰(Top View) 좌표로 변환하여 출력하고, 역행렬을 이용하면 공간상의 3차원 좌표를 영상좌표로 변환시 활용할 수 있도록 한다.

즉 직선의 방정식을 이용한 3차원 좌표를 탑뷰 좌표로 변환하는 과정은 원점인 카메라 위치 C(0, 0, 0)와, 공간상의 한 점 P1(x1, y1, z1)을 지나는 직선의 방정식은

이고, 도로면과 만나는 좌표 P2(x2, y2, z2)를 얻기 위하여 z = -h를 대입하여

를 계산하면, 탑뷰 좌표(x2, y2, z2)로 변환되어 출력된다. 여기서 h는 도로면에서 카메라가 설치된 높이이다.

상기 탑뷰 좌표(x2, y2, z2)를 영상좌표로 변환하는 과정은 영상좌표를 (xi, yi), 탑뷰좌표를 (x2, y2)라고 하면, 켈리브레이션을 통하여 영상좌표를 탑뷰좌표로 변환 가능하며, 역행렬을 이용하면, 탑뷰좌표를 영상좌표로 변환할 수 있다.

또한, 상기 거리 추정부(121)는 2차원 좌표에서 3차원 좌표로 변환한 공간에서 이동에 의한 상기 특징점의 3차원 좌표를 추적하여 대상 물체의 거리를 추정한다.

즉 2차원 좌표에 카메라가 설치된 위치가 원점인 z축을 추가하여 공간상의 3차원 좌표를 구현하고, 이동 전후의 카메라에서 물체까지의 직선의 방정식을 결정하며, 두 직선의 교차점을 계산하여 물체까지의 거리를 추청한다.

상기 장애물 검출부(122)는 자동차용 스테레오 비전 장애물 검출 프로그램을 통해 영상에서 장애물(300)을 검출하고, 3차원 좌표 분석을 통해 상기 검출된 장애물(300)의 높이를 분석하여 장애물 여부를 판단한다.

상기 자동차용 스테레오 비전 장애물 검출 프로그램은 도로 위의 장애물 대부분은 도로면에 수직한 블록으로 표현하는 것이 가능하여 Disparity map의 세로축 히스토그램(V-disparity)을 구하여 도로면과 그 위에 존재하는 장애물을 검출한다.

즉 장애물 높이(z축 좌표)를 분석하여 장애물 여부를 판단하고, 장애물로 판단된 특징점으 3차원 좌표를 xy 평면에서 분석하면 동일 라인으로 수렴하기 때문에 장애물의 검출을 용이하게 수행할 수 있고, xy 평면에서 일정거리 이내로 근접한 장애물은 동일 물체로 판단한다.

또한, 상기 장애물 검출부(122)는 연산량의 감소와 오인식을 방지하기 위해 미리 설정된 경고영역(400) 내부의 특징점에 대해서만 장애물 검출 대상으로 판단한다.

또한, 상기 장애물 검출부(122)는 특징점의 위치 변화를 분석하여 미리 설정된 허용범위 이상으로 위치 변화가 발생한 물체는 장애물 검출 대상에서 제거한다.

즉 xy 평면에서 특징점의 위치변화를 관찰하고, 상기 특징점의 위치변화가 보이는 물체는 장애물 검출 대상에서 제거한다.

상기 장애물 경고부(123)는 차량이 진입해도 장애물과 충돌하지 않고 안전한 영역이 운전자에게 제공될 수 있도록 도 5에 나타낸 바와 같이, 일정 크기의 경고영역(400)을 설정하고, 상기 경고영역(400)은 미리 설정된 임의의 기준위치, 예를 들면, 차량의 범퍼(210)에서 장애물(300)과의 사이에 차량이 진입해도 장애물과 충돌하지 않고 안전한 안전영역(410)과, 상기 장애물(300)이 포함된 위험영역(420)이 구분되어 표시된다.

또한, 상기 장애물 경고부(123)는 장애물 검출부(122)를 통해 장애물(300)이 포함된 장애물 검출영역(320)이 추출되면, 상기 장애물(300)이 포함된 위험영역(420)을 그라데이션으로 블랜딩하여 디스플레이함으로써, 운전자가 장애물(300)까지의 거리감을 인식할 수 있게 한다.

또한, 상기 장애물 경고부(123)는 장애물 검출부(122)를 통해 장애물(300)이 포함된 장애물 검출영역(320)이 추출되면, 상기 장애물 특징점(310)이 포함된 장애물 검출영역(320)을 깜박임 등의 효과가 출력될 수 있게 강조하여 디스플레이함으로써, 운전자가 장애물(300)까지의 거리를 인식할 수 있게 한다.

또한, 상기 장애물 경고부(123)는 안전영역(410)을 운전자가 인식할 수 있도록 가상의 선을 합성하여 디스플레이함으로써, 운전자가 장애물(300)까지의 거리를 용이하게 인식할 수 있도록 한다.

또한, 상기 장애물 경고부(123)는 거리 측정부(121)에서 추정된 장애물(300)까지의 거리정보가 함께 디스플레이되도록 한다.

즉 도 5와 같이, 탑뷰영상(P1)으로 변환하여 차량(200a)과 장애물(300) 사이의 거리감이 나타날 수 있게 디스플레이하거나, 일반적인 영상(P2)에서 기준위치인 차량의 범퍼(210)로부터 장애물(300)과의 사이에 차량이 진입해도 장애물과 충돌하지 않고 안전한 안전영역(410)이 디스플레이되도록 하고, 거리 측정부(121)를 통해 추정된 장애물(300)까지의 거리정보(500)를 함께 디스플레이함으로써, 운전자가 장애물(300)까지의 거리를 용이하게 인식할 수 있게 한다.

상기 디스플레이부(130)는 제어부(120)에서 출력되는 거리정보와 영상을 수신하여 표시되도록 하는 하는 구성으로서, 차량에 설치된 별도의 화면, 내비게이션, 룸미러 등을 통해 디스플레이되도록 한다.

따라서 단안 카메라를 이용하여 차량이 이동하면서 촬영한 두 시점의 영상을 이용하여 장애물 정보의 검출과, 검출된 장애물에 대한 경고와 장애물까지의 거리정보 제공할 수 있으며, 거리정보의 추출을 위한 연산량의 감소와 정확도를 개선할 수 있게 된다.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

또한, 본 발명의 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있으며, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

100 : 검출장치
110 : 카메라
120 : 제어부
121 : 거리 측정부
122 : 장애물 검출부
123 : 장애물 경고부
130 : 디스플레이부
200, 200a : 차량
210 : 범퍼
300 : 장애물
310 : 장애물 특징점
320 : 장애물 검출영역
400 : 경고영역
410 : 안전영역
420 : 위험영역
500 : 거리정보

Claims (8)

1. 영상을 출력하는 카메라(110);
   상기 카메라(110)가 출력하는 임의의 두 시점(t1, t0)의 영상을 이용하여 스테레오 영상을 구성하고, 상기 스테레오 영상으로부터 특징점을 추출하여 물체의 움직임을 추적 후, 3차원 좌표를 기반으로 장애물(300)을 검출하여 임의의 기준위치에서 상기 검출된 장애물(300)까지의 거리정보와 상기 카메라(110)가 출력하는 영상이 디스플레이되도록 제어하는 제어부(120); 및
   상기 제어부(120)에서 출력되는 거리정보와 영상을 수신하여 표시되도록 하는 디스플레이부(130)를 포함하는 단안 카메라를 이용한 장애물 검출장치.
   
2. 제 1 항에 있어서,
   상기 카메라(110)는 단안식 카메라(Monocular Camera)인 것을 특징으로 하는 단안 카메라를 이용한 장애물 검출장치.
   
3. 제 1 항에 있어서,
   상기 제어부(120)는 대상 물체의 장애물 여부를 판별하기 위해 서로 다른 시점에서 획득한 영상의 매칭점 분석을 통해 특징점을 추출하고, 영상에서 동일 물체인지 여부를 판별하기 위해 상기 대상 물체의 특징점을 추적하며, 2차원 좌표에서 3차원 좌표로 변환한 공간에서 이동에 의한 상기 특징점의 3차원 좌표를 추적하여 대상 물체의 거리를 추정하는 거리 추출부(121);
   장애물 검출 프로그램을 통해 장애물(300)을 검출하고, 3차원 좌표 분석을 통해 상기 검출된 장애물(300)의 높이를 분석하여 장애물 여부를 판단하는 장애물 검출부(122); 및
   미리 설정된 임의의 기준위치에서 상기 장애물(300)과의 사이에 안전영역(410)과, 상기 장애물(300)이 포함된 위험영역(420) 중 적어도 하나를 나타낸 경고영역(400)이 표시되도록 제어하는 장애물 경고부(123)를 포함하는 것을 특징으로 하는 단안 카메라를 이용한 장애물 검출장치.
   
4. 제 3 항에 있어서,
   상기 거리 추출부(121)는 영상 좌표가 카메라(110)를 원점으로 하는 탑뷰(Top View) 좌표로 변환하여 출력하는 것을 특징으로 하는 단안 카메라를 이용한 장애물 검출장치.
   
5. 제 3 항에 있어서,
   상기 장애물 검출부(122)는 연산량의 감소와 오인식을 방지하기 위해 상기 경고영역(400) 내부의 특징점에 대해서만 장애물 검출 대상으로 판단하는 것을 특징으로 하는 단안 카메라를 이용한 장애물 검출장치.
   
6. 제 3 항에 있어서,
   상기 장애물 검출부(122)는 특징점의 위치 변화를 분석하여 미리 설정된 허용범위 이상으로 위치 변화가 발생한 물체는 장애물 검출 대상에서 제거하는 것을 특징으로 하는 단안 카메라를 이용한 장애물 검출장치.
   
7. 제 3 항에 있어서,
   상기 기준위치는 차량의 범퍼(210)인 것을 특징으로 하는 단안 카메라를 이용한 장애물 검출장치.
   
8. 제 3 항에 있어서,
   상기 장애물 경고부(123)는 상기 장애물(300)이 포함된 위험영역(420)을 그라데이션으로 블랜딩한 효과, 깜박임 효과 중 적어도 하나를 통해 강조하여 디스플레이되도록 하는 것을 특징으로 하는 단안 카메라를 이용한 장애물 검출장치.

Images