KR20180060024A

KR20180060024A - 차량의 충돌방지시스템 및 그 방법

Info

Publication number: KR20180060024A
Application number: KR1020160159018A
Authority: KR
Inventors: 정승원; 박지열
Original assignee: 동국대학교 산학협력단
Priority date: 2016-11-28
Filing date: 2016-11-28
Publication date: 2018-06-07
Also published as: KR101894731B1

Abstract

충돌방지 시스템 및 그 방법이 개시된다.
본 발명의 실시예에 따른 충돌방지 시스템은 차량에 구비되어 스테레오 영상을 촬영하는 카메라부; 스테레오 영상에서 지면의 시차(disparity)값을 나타내는 그라운드맵(ground map)을 생성하는 그라운드맵 생성부; 그라운드맵의 시차값에 따라 매칭되는 제1 영상의 픽셀과 제2 영상의 픽셀간의 차이값을 산출하여 강조영상을 생성하는 강조영상 생성부; 및 강조영상을 이용하여 지면에 존재하는 객체가 차량에 접근시, 차량에 구비된 알람을 활성화시키는 제어부를 포함할 수 있다.

Description

차량의 충돌방지시스템 및 그 방법{SYSTEM AND METHOD FOR VEHICLE COLLISION AVOIDANCE}

본 발명은 충돌방지시스템에 관한 것으로 보다 상세하게는, 스테레오 카메라를 이용한 차량의 충돌방지시스템 및 그 방법에 관한 것이다.

3차원 영상 획득을 위해서는 3차원 장면의 거리정보를 표현하는 깊이 지도를 획득해야한다. 깊이정보를 이용하면 실제로 획득하지 못한 시점의 영상을 깊이 영상 기반 렌더링(Depth Image Based Rendering)을 통해서 합성할 수 있다

깊이 정보는 능동적 깊이 센서 방식(active depth sensors), 수동적 깊이 센서 방식(passive depth sensors)으로 획득할 수 있다.

능동형 센서 방식은 물리적 센서 장치를 이용하여 깊이 정보를 직접 획득하는 반면에, 수동적 센서 방식은 두 대 이상의 카메라로 얻은 영상으로부터 깊이 정보를 계산해서 획득한다

수동형 센서 방식의 하나인 스테레오 매칭(stereo matching)은 기본적으로 좌/우 영상에 존재하는 시차(disparity)를 계산하는 기술로서, 두 영상의 에피폴라 라인(epipolar line)선 상에서 픽셀들의 대응점을 구하는 방식으로 수행된다.

그러므로 일반적으로 픽셀 단위로 시차가 계산이 되며, 픽셀 단위의 시차 값으로 구성된 영상을 시차 맵 (disparity map) 또는 깊이 맵 (depth map)으로 정의할 수 있다.

스테레오 매칭에서 계산되는 시차는 가까이 있는 객체에 크고 멀리 있는 객체에 작게 계산된다.

스테레오 카메라는 다양한 디지털 카메라 및 스마트폰에 장착되어 출시되었다.

스테레오 매칭을 통하여 추출한 시차 맵은 영상 포커싱 조정 (image refocusing) 이나 3차원 영상 복원 (3D image reconstruction)과 같은 영역에 활발하게 활용되고 있다. 한편 차량에서도 영상 센서를 이용하여 컴퓨터 비전 기술을 적용하기 위한 다양한 시도가 있어 왔다.

특히 라이다(lidar)센서를 사용하여 장면의 깊이를 추출하고 이를 토대로 차량 충돌방지시스템을 구축하는 기술이 대표적이다.

라이다 센서와 스테레오 카메라를 같이 사용한 시스템 또한 많이 연구되어 왔다.

한국특허공개 10-2016-0116432 (2016.10.10 공개)

본 발명은 스테레오 영상을 이용하여 차량의 충돌을 방지하는 시스템 및 그 방법을 제공하고자 한다.

또한, 고가인 라이다 센서를 스테레오 카메라로 대체하여, 저비용으로 차량의 충돌을 방지하는 시스템 및 그 방법을 제공하고자 한다.

본 발명의 일 측면에 따르면, 차량에 구비되어 스테레오 영상을 촬영하는 카메라부; 상기 스테레오 영상에서 지면의 시차(disparity)값을 나타내는 그라운드맵(ground map)을 생성하는 그라운드맵 생성부; 상기 그라운드맵의 시차값에 따라 매칭되는 제1 영상의 픽셀과 제2 영상의 픽셀간의 차이값을 산출하여 강조영상을 생성하는 강조영상 생성부; 및 상기 강조영상을 이용하여 상기 지면에 존재하는 객체가 상기 차량에 접근시, 상기 차량에 구비된 알람을 활성화시키는 제어부를 포함하는 충돌방지시스템이 제공될 수 있다.

또한, 상기 그라운드맵 생성부는 상기 스테레오 영상에서 상기 차량의 진행방향에서 지면이 존재할 가능성이 높은 영역으로 미리 지정된 관심영역내에 포함된 영상만을 이용하여 그라운드맵을 생성할 수 있다.

여기서, 상기 관심영역은 상기 스테레오 영상의 영상 중앙 하단부일 수 있다.

여기서, 상기 그라운드맵은 스캔라인마다 대표시차값을 가질 수 있다.

또한, 상기 그라운드맵 생성부는 상기 스테레오 영상내에서, 하단 스캔라인의 대표시차값을 산출후, 상단 스캔라인의 대표시차값을 산출하되, 하단 스캔라인의 대표시차값보다 작거나 같은 범위내에서 상단 스캔라인의 시차를 탐색할 수 있다.

또한, 상기 강조영상 생성부는, 상기 차이값이 지정된 차이임계값을 초과하는 경우 1을, 이하인 경우는 0을 할당하여 상기 강조영상을 이진 영상으로 생성할 수 있다.

또한, 상기 제어부는 상기 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 히스토그램을 산출하고, 히스토그램의 피크(peak)값으로 지면상에 존재하는 객체를 감지할 수 있다.

또한, 상기 제어부는 상기 히스토그램의 피크값을 이용하여 상기 객체의 X축 방향 위치와, 상기 객체의 이동방향을 추정할 수 있다.

또한, 상기 제어부는, 상기 객체의 이동방향의 상기 X축의 중심방향으로 이동하는 경우 상기 차량에 구비된 알람을 활성화시킬 수 있다.

또한, 상기 제어부는, 상기 강조영상에서 픽셀 값이 1이고 X축 좌표가 상기 피크값에서 지정된 범위내에 있는 픽셀에 대하여 스테레오 매칭(stereo matching)을 수행하되, 미리 지정된 위험 시차 범위내에서 매칭이 되는 픽셀의 개수가 위험임계값을 초과하는 경우, 상기 차량의 알람을 활성화시킬 수 있다.

여기서, 상기 위험 시차 범위는 상기 차량의 주행속도가 클 수록 상대적으로 큰 시차범위를 가질 수 있다.

본 발명의 다른 실시예에 따르면, 지면상의 객체와 차량간의 충돌을 방지 하는 방법에 있어서, (a) 차량 전방의 스테레오 영상을 획득하는 단계; (b) 상기 스테레오 영상에서 지면의 시차(disparity)값을 나타내는 그라운드맵(ground map)을 생성하는 단계; (c) 상기 그라운드맵의 시차값에 따라 매칭되는 좌우영상의 픽셀간의 차이값을 산출하여 강조영상을 생성하는 단계; 및 (d) 상기 강조영상을 이용하여 상기 객체가 상기 차량에 접근시, 상기 차량에 구비된 알람을 활성화시키는 단계를 포함하는 충돌 방지 방법이 제공될 수 있다.

또한, 상기 (b)단계는 상기 스테레오 영상에서 상기 차량의 진행방향에서 지면이 존재할 가능성이 높은 영역으로 미리 지정된 관심영역내에 포함된 영상만을 이용하여 그라운드맵을 생성할 수 있다.

또한, 상기 (b)단계는 상기 스테레오 영상내에서, 하단 스캔라인의 대표시차값을 산출후, 상단 스캔라인의 대표시차값을 산출하되, 하단 스캔라인의 대표시차값보다 작거나 같은 범위내에서 상단 스캔라인의 시차를 탐색하는 단계를 포함할 수 있다.

또한, 상기 (c)단계는 상기 차이값이 지정된 차이임계값을 초과하는 경우 1을, 이하인 경우는 0을 할당하여 상기 강조영상을 이진 영상으로 생성할 수 있다.

또한, 상기 (d)단계는 (d1)상기 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 히스토그램을 산출하는 단계; 및 (d2) 상기 히스토그램의 피크(peak)값으로 지면상에 존재하는 객체를 감지하는 단계를 포함할 수 있다.

또한, 상기 (d)단계는 (d3) 상기 히스토그램의 피크값을 이용하여 상기 객체의 x축 방향 위치와, 상기 객체의 이동방향을 추정하는 단계를 더 포함할 수 있다.

또한, 상기 (d)단계는 (d4) 상기 객체의 이동방향이 상기 X축의 중심방향인 경우 상기 차량에 구비된 알람을 활성화시키는 단계를 더 포함할 수 있다.

또한, 상기 (d)단계는 (d4) 상기 강조영상에서 픽셀 값이 1이고 X축 좌표가 상기 피크값에서 지정된 범위내에 있는 픽셀에 대하여 스테레오 매칭(stereo matching)을 수행하되, 미리 지정된 위험 시차 범위내에서 매칭이 되는 픽셀의 개수가 위험임계값을 초과하는 경우, 상기 차량의 알람을 활성화시키는 단계를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 상술한 충돌 방지 방법 중 어느 하나의 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

본 발명의 실시예에 따른 충돌방지시스템 및 그 방법은 스테레오 영상을 이용하여 차량의 충돌을 방지할 수 있다는 장점이 있다.

또한, 고가인 라이다 센서를 스테레로 카메라로 대체하여, 저비용으로 차량의 충돌을 방지할 수 있다는 장점이 있다.

도 1은 본 발명의 실시예에 따른 차량의 충돌방지시스템의 내부 구성을 예시한 도면.
도 2는 스테레오 영상의 일 례(KITTI data set).
도 3은 본 발명의 실시예에 따른 그라운드맵의 일 례.
도 4에는 본 발명의 실시예에 따른 강조영상의 일 례.
도 5는 본 발명의 실시예에 따라 제어부가 생성한 히스토그램의 일 례.
도 6은 객체가 차량의 진행방향으로 접근하는 상황에서 촬영한 연속영상.
도 7은 도면 6 영상에서 획득한 강조영상.
도 8은 도면 7로부터 획득한 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 생성한 히스토그램.
도 9는 객체가 차량의 진행방향에서 멀어지는 경우에 촬영된 연속영상의 일 례.
도 10은 도 9 영상에서 획득한 강조영상.
도 11은 도 9에서 획득한 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 생성한 히스토그램.
도 12는 옆 차선의 차량이 차선을 유지하면서 운전자의 차량을 추월하는 경우의 스테레오 영상.
도 13은 도 12의 영상에서 획득한 강조영상.
도 14는 도 12의 영상에서 획득한 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 생성한 히스토그램.
도 15는 본 발명의 실시예에 따른 차량의 충돌 방지 방법을 예시한 순서도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 차량의 충돌방지시스템(100)의 내부 구성을 예시한 도면이고, 도 2는 스테레오 영상의 일 례(KITTI data set)이며, 도 3은 본 발명의 실시예에 따른 그라운드맵의 일 례이다.

도 1을 참고하면 본 발명의 실시예에 따른 차량의 충돌방지시스템(100)은 카메라부(110), 그라운드맵 생성부(120), 강조영상 생성부(130), 제어부(140) 및 알람부(150)를 포함할 수 있다.

도 1에 예시된 구성부는 본 발명의 이해와 설명의 편의를 위해, 주요 구성부를 별도로 표기하였으나, 기존 차량에 구비된 구성부의 일부로 구현될 수 있다.

카메라부(110)는 스테레오 카메라로 스테레오 영상(즉, 좌우영상)을 촬영할 수 있다,

본 실시예에서는 차량의 전방에 구비된 것으로 설명하나, 본 발명이 적용되는 환경에 따라 차량의 여러 측면에 구비될 수 있다.

도 2에는 스테레오 영상의 일 례로 KITTI data set이 예시되어 있으며, 이하 본 명세서에서는 카메라부(110)가 도 2에 예시된 영상을 촬영한 경우로 가정하여 설명한다.

그라운드맵 생성부(120)는 카메라부(110)로부터 획득한 스테레오영상에서, 지면의 시차(disparity)값만을 고려한 시차영상을 생성할 수 있다. 이하, 본 명세서에서 영상에서 지면의 시차값을 나타내는 영상을 '그라운드맵'이라 칭한다.

본 발명의 실시예에 따르면, 그라운드맵 생성부(120)는 카메라부(110)로부터 획득되는 스테레오 영상에서, 미리 지정된 방법에 따라 관심영역을 설정하고, 관심영역에서 그라운드 맵을 생성할 수 있다.

여기서, 관심영역은 차량의 진행방향에서 지면일 가능성이 높은 미리 지정된 영역이다.

예를 들어, 상술한 바와 같이 카메라부(110)가 차량의 전방에 구비되는 경우, 관심영역은 스테레오 영상에서 중앙 하단부에 미리 지정될 수 있다.

예를 들어, 카메라부(110)가 차량의 우측방에 구비되는 경우, 관심영역은 스테레오 영상에서 중앙 하단부 뿐만 아니라, 좌측 및 우측 하단부 중 하나 이상을 더 포함할 수 있으며, 본 발명이 적용되는 환경에 따라 다양하게 수정되어 적용될수 있다.

따라서, 본 발명의 실시예에 따르면 그라운드맵 생성부(120)는 스테레오 영상의 모든 영역에 대해서 연산처리 할 필요없이, 미리 지정된 관심영역에 포함된 영상정보만을 처리함으로서, 연산 부하를 줄일 수 있다는 장점이 있다.

그라운드맵 생성부(120)는 스테레오 영상의 관심영역 내에서, 시차값만을 이용하여 그라운드맵을 생성할 수 있다.

픽셀의 시차를 구하기 위해 사용되는 가장 기본적인 지역적(local) 방법은, 우선적으로 좌영상에 존재하는 픽셀에 대응하는 우 영상의 픽셀을 찾는 방법으로, 두영상의 정렬화 과정을 거친후, 에피폴라 선(epipolar line) 선상의 특정 탐색 범위(search range)내에서 가장 유사한 색상값을 갖는 픽셀 쌍을 찾는 방법을 이용한다.

본 발명의 실시예에 따른 그라운드맵에서는, 각 픽셀이 독립적인 시차를 가지 않고 각 스캔라인(scan line)마다 대표적인 시차값인 스캔라인 대표시차값을 가질 수 있다. 따라서, 본 실시예에 따른 그라운드맵 생성부(120)는 스테레오영상의 좌우영상간에서 스캔라인 별 대표시차값을 구한다.

본 발명의 실시예에 따른 그라운드맵 생성부(120)는 스캔라인의 대표 시차를 구하기 위하여 좌 영상의 각 픽셀에 대하여 우 영상의 탐색 영역 내부 픽셀들과 매칭을 수행할 수 있다.

여기서, 그라운드맵 생성부(120)는 매칭을 위하여 픽셀의 칼라 값을 비교하거나 Gradient 값을 비교할 수 있고, 또는 Cencus transform 등의 방식을 적용하여 추출한 특징 벡터 (feature vector)를 비교할 수 있다.

본 발명의 실시예에 따른 그라운드맵 생성부(120)는 좌 영상의 각 픽셀에 대하여 우 영상의 탐색 영역 내부 픽셀과의 절대값의 차이를 이용할 수 있다. 즉, 우 영상의 탐색 영역 내부 픽셀들에 대하여, 매칭의 오차가 작을수록 (또는 유사도가 클수록) 해당 픽셀이 좌 영상의 픽셀의 대응 픽셀이 될 가능성이 크다고 할 수 있다.

예를 들어, 그라운드맵 생성부(120)는 좌 영상 x, y좌표 (10,1)에 대응하는 픽셀을 우 영상에서 찾을 때 우 영상 x, y좌표 (10-i, 1)에서 픽셀의 절대 값의 차이(absolute difference)를 계산한다. 이때 i는 시차를 의미하며 탐색 영역 내부의 후보 i 값 중에서 가장 낮은 절대 값의 차이를 갖는 시차 값을 해당 픽셀의 시차값으로 결정할 수 있다.

또한, 그라운드맵 생성부(120)는 스캔라인 전체의 픽셀에 대해 매칭을 수행하고, 절대 값의 차이가 가장 낮을 때의 시차 값을 축적하여 히스토그램화 할 수 있다. 그리고, 그라운드맵 생성부(120)는 산출된 히스토그램에서 가장 높은 값에 해당하는 시차 값을 해당 스캔라인의 대표시차값으로 사용할 수 있다.

본 실시예에서는, 상술한 바와 같이 차량의 전방에 카메라부(110)가 구비된 것으로 가정하였다. 따라서, 차량에 부착된 카메라부(110)로부터 영상을 획득하기 때문에, 스테레오 영상에서 아래쪽이 차량으로부터 가까운 지면에 해당하고 위쪽으로 갈수록 지면이 멀어지는 특성을 가질 수 있다.

따라서, 스테레오 영상의 관심 영역 내부에서 아래쪽 부분이 위 쪽보다 시차값이 큰 것으로(즉, 깊이값이 작은 것으로) 가정할 수 있다.

따라서, 본 발명의 실시예에 따른 그라운드맵 생성부(120)는 스테레오 영상의 관심영역내에서, 가장 아래에 있는 스캔라인에서부터 계산하여 대표시차값을 산출하고, 그 다음 위 스캔라인에서는 아래 스캔라인에서 찾은 대표시차값보다 더 작거나 같은 범위안에서만 시차 탐색을 수행할 수 있다.

이러한 방식을 통하여, 그라운드맵 생성부(120)는 아래에서 위로 갈수록 시차는 적어지는, 다시 말하여 위로 갈수록 멀어지는 지면을 잘 나타내는 그라운드맵을 구할 수 있다.

도 3에는 본 발명의 실시예에 따른 그라운드맵의 일 례가 예시되어 있는데, 본 발명의 이해와 설명의 편의를 도모하기 위하여 그라운드맵의 시차값을 밝기값으로 변환하여 예시하였다. 도 3을 참고하면, 아래에서 높은 시차값(즉, 도 3에는 높은 밝기값)를 갖고, 위로 갈수록 낮은 시차값(즉, 도 3에는 낮은 밝기값)을 가지는 것을 확인할 수 있다.

다시 도 1을 참고하면, 강조영상 생성부(130)는 그라운드맵의 시차값에 따라 매칭되는 스테레오 영상의 픽셀간의 차이값을 산출하여 강조영상을 생성할 수 있다.

보다 상세하게는, 강조영상 생성부(130)는 좌 영상의 모든 픽셀에 대하여 그라운드맵으로 구한 대표시차값에 해당하는 우 영상의 픽셀들과의 차이 값을 계산하고, 이에 기초하여 강조영상을 생성할 수 있다.

본 발명의 실시예에 따르면, 좌 영상 픽셀들이 지면에 속할 경우, 대표시차값으로 인하여 대응되는 우 영상의 픽셀들 또한 유사한 픽셀 값을 갖기 때문에 차이 값이 낮게 계산될 수 있다.

반대로, 좌 영상 픽셀이 지면에 놓여 있는 객체 (자동차, 보행자 등)에 속할 경우, 대표시차값으로 대응되는 우 영상의 픽셀이 객체와는 다른 위치를 가리키게 되어 대응 픽셀 값의 차이가 클 수 있다.

그러므로 두 대응 픽셀간의 절대 값의 차이가 설정된 임계값(threshold) 보다 높으면 해당 픽셀은 지면 위에 존재하는 객체 영역에 해당하는 픽셀이라고, 후술하는 제어부(140)가 판단할 수 있다.

본 발명의 실시에에 따른 강조영상 생성부(130)는 그라운드맵의 대표시차값으로 대응되는 좌우영상간의 픽셀간의 절대값의 차이값이 지정된 차이임계값을 초과하면 1을, 이하인 경우 0으로 할당하여 강조영상을 이진영상으로 생성할 수 있다.

도 4에는 본 발명의 실시예에 따른 강조영상의 일 례가 도시 되어 있다. 다만, 도 4에 예시된 강조영상은 본 발명의 이해를 도모하기 위하여, 강조영상에서 1의 값을 값는 픽셀에 대하여 원래의 칼라 값을 할당하여 가시화하여 예시하였다.

다시 도 1를 참고하면, 제어부(140)는 강조영상을 이용하여 지면에 존재하는 객체가 차량에 접근시 차량에 구비된 알람을 활성화시킬 수 있다.

이를 위하여, 제어부(140)는 강조영상에서 객체의 X 축방향위치와, 이동방향을 추정하고, 객체의 이동방향이 x축의 중심방향인 경우, 차량에 구비된 알람을 활성화시킬 수 있다.

이하, 제어부(140)의 기능에 대해서 상세히 설명한다.

앞서 생성한 강조영상은 지면 위에 존재할 가능성이 높은 픽셀들만 추려낸 결과일 수 있다. 즉, 스테레오 영상의 매 프레임마다 얻어지는 강조영상에서, 관심 영역 내부에 위치하며 그라운드맵의 시차를 갖지 않는 픽셀들(즉, 강조영상에서 픽셀값이 1인 픽셀들)의 개수와 지정된 개수임계값을 비교할 수 있다. 이때, 개수임계값을 초과하는 경우 객체가 차량의 전방 가까운 부근에 존재할 가능성이 높은 경우에 해당한다.

따라서, 이 경우 제어부(140)는 추가적으로 충돌 가능성이 있는 객체를 검출하기 위하여, 관심 영역 내부의 강조영상에서 픽셀값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 합친 히스토그램을 생성할 수 있다.

여기서, 히스토그램의 밀도가 특정 위치에 높은 값을 가진다면 해당 위치에 객체가 있을 확률이 높다는 것을 의미한다.

도 5는 본 발명의 실시예에 따라 제어부가 생성한 히스토그램의 일 례이다.

도 4 및 도 5를 참고하면, 영상의 오른쪽 부분에 위치하는 객체 위치에서 히스토그램의 밀도가 높은 것을 확인할 수 있다.

제어부(140)는 히스토그램에서 피크(peak)값을 갖는 X좌표를 산출하여, 객체의 위치를 수치화할 수 있다.

한편, 히스토그램이 스테레오 영상의 노이즈나 그라운드맵 생성시 포함된 오류 등으로 인하여 다소 불안정하게 획득될 수 있다. 이 경우, 제어부(140)는 히스토그램을 먼저 스무딩(smoothing)하고 나서 피크(peak)의 X좌표를 산출할 수 있다.

또한, 본 발명의 다른 실시예에 따르면 제어부(140)는 가우시안 모델(Gaussian model)또는 가우시안 병합 모델 (Gaussian mixture model)을 히스토그램에 적용하여 가우시안 모델의 평균에 해당하는 위치를 피크값으로 보고 X좌표를 산출할 수 있다.

제어부(140)는 매 영상프레임에 대하여 관심 영역 내부의 강조영상 에서 픽셀값이 1인 픽셀의 개수가 개수임계값보다 큰 경우, 피크의 X축 위치를 산출할 수 있다.

또한, 제어부(140)는 피크의 위치 변화 패턴으로부터 객체의 이동방향을 추정할 수 있다.

도 6은 객체가 차량의 진행방향으로 접근하는 상황에서 촬영한 연속영상이고, 도 7은 도면 6 영상에서 획득한 강조영상이며, 도 8은 도면 7로부터 획득한 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 생성한 히스토그램이다.

도 6 내지 도 8을 참고하면, 객체가 차량의 진행방향으로 접근하는 경우, 도 8에서 히스토그램의 피크값의 위치가 X축 중심방향으로 이동하는 것을 알 수 있다.

따라서, 제어부(140)는 히스토그램의 피크값의 X축 위치가 X축 중심방향으로 이동하는 경우, 객체가 차량의 진행방향으로 접근하는 것을 감지하고, 차량에 구비된 알람을 활성화 할 수 있다.

여기서, 제어부(140)가 활성화하는 알람은 기존 차량에 구비되어, 차량의 운전자에게 지정된 음향, 조명 등이 될 수 있으며, 추가적으로 경적 등을 통하여 외부에 접근하는 객체에 전하는 알람도 포함할 수 있다.

도 9는 객체가 차량의 진행방향에서 멀어지는 경우에 촬영된 연속영상의 일 례이며, 도 10은 도 9 영상에서 획득한 강조영상이며, 도 11은 도 9에서 획득한 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 생성한 히스토그램이다.

도 9 내지 도 11을 참고하면, 객체가 차량의 진행 방향에서 멀어지는 경우, 히스토그램의 피크위치가 X축 중심에서 멀어지는 것을 알 수 있다.

따라서, 제어부(140)는 히스토그램의 피크값의 X축 위치가 X축 중앙에서 멀어지는 방향으로 이동하는 경우, 알람을 활성화 하지 않으며 활성화된 알람이 있을 경우에는 해제할 수 있다.

강조 영상의 피크값의 X축 위치가 X축 중심방향(즉, 차량의 진행방향) 위치로 이동한다고 하는 모든 객체가 위험한 객체는 아닐 수 있다. 예를 들어, 옆 차선의 차량이 옆 차선을 계속 유지하면서, 운전자 차량을 추월하는 경우를 가정해 볼수 있다.

도 12는 옆 차선의 차량이 차선을 유지하면서 운전자의 차량을 추월하는 경우의 스테레오 영상이며, 도 13은 도 12의 영상에서 획득한 강조영상이며, 도 14는 도 12의 영상에서 획득한 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 생성한 히스토그램이다.

본 발명의 실시예에 따르면, 제어부(140)는 위험한 객체만을 검출하기 위해 히스토그램의 피크의 위치가 X축 중심방향으로 이동하는 경우, 피크값에서 지정된 범위내에 있는 픽셀들에 대하여 스테레오 매칭(stereo matching)을 수행하되, 미리 지정된 위험 시차 범위내에서 매칭이 되는 픽셀의 개수가 위험임계값을 초과하는 경우, 차량의 알람을 활성화 할 수 있다.

본 발명의 실시예에 따르면, 차량의 주행속도를 고려하여, 차량의 진행방향 전방으로 촬영한 영상에서 차량과 충돌할 위험이 있는 위험한 위치에 대응하는 시차범위가 미리 지정될 수 있다.

예를 들어, 차량의 주행속도가 높을 수록 더 넓은 범위의 시차 영역이 지정될 수 있고, 반대의 경우 좁은 범위의 시차범위가 지정될 수 있다.

따라서, 제어부(140)는 미리 지정된 위험시차범위내에서 스테레오 매칭이 될 경우(즉, 좌우영상의 대응픽셀의 절대값의 차이가 지정된 매칭임계값 이하인 경우), 해당 픽셀이 위험시차 영역내부에 있는 것으로 판단할 수 있다. 그리고, 제어부(140)는 위험 시차 범위내에서 매칭이 되는 픽셀의 개수가 지정된 위험임계값을 초과하는 경우, 차량에 구비된 알람을 활성화할 수 있다.

지금까지 도 1에 예시된 충돌방지시스템(100)의 내부 구성을, 도 2 내지 도 14를 참고하여 상세히 설명하였다.

여기서, 도 1에 예시된 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다.

즉, 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.

그리고 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

도 15는 본 발명의 실시예에 따른 차량의 충돌 방지 방법을 예시한 순서도이다.

이하. 도 15을 참고하여 본 발명의 실시예에 따른 충돌 방지 방법을 설명함에 있어서, 상술한 바와 같이 도 1의 충돌방지시스템(100)의 내부 구성은 다양하게 변경되어 구현될 수 있으므로, 주체를 충돌방지시스템(100)으로 하여 설명한다.

또한, 충돌방지 방법의 이해와 설명의 편의를 도모하기 위해, 도 1 내지 도 14를 참고하여 설명한 부분과 중복된 설명은 간략히 하거나 생략한다.

단계 S1510에서 차량의 충돌방지시스템(100)은 차량에 구비된 카메라를 통하여 스테레오 영상을 획득할 수 있다.

이어서, 단계 S1520에서, 충돌방지시스템(100)은 스테레오 영상에서 지면의 시차값만을 반영한 그라운드맵을 생성할 수 있다.

이 단계에서, 충돌방지시스템(100)은 스테레오 영상의 모든 픽셀에 대해서 연산을 하지 아니하고, 미리 지정된 관심영역, 즉 지면이 존재할 가능성이 높은 영역(예를 들어, 영상의 중앙 하단부)에 대해서만 수행할 수 있다.

또한, 충돌방지스템은 관심영역내에서 스캔라인별로 대표시차값을 산출하여 그라운드맵을 생성할 수 있다.

또한, 충돌방지시스템(100)은 관심영역내에서 최하단의 스캐라인에서 대표시차값을 산출후, 그위 스캔라인에서는 하단의 대표시차값보다 작거나 같은 범위내에서 시차를 탐색할 수 있다.

이어서, 단계 S1530에서 충돌방지시스템(100)은 그라운드맵의 시차값에 따라 매칭되는 좌우영상의 픽셀간의 차이값을 산출하여 강조영상을 생성할 수 있다.

또한, 충돌방지시스템(100)은 산출된 차이값이 지정된 차이임계값을 초과하는 경우 1을, 이하인 경우는 0을 할당하여 강조영상을 이진 영상으로 생성할 수 있다.

이어서, 단계 S1540에서 충돌방지시스템(100)은 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 히스토그램을 산출하고, 히스토그램의 피크(peak)값으로 지면상에 존재하는 객체를 감지할 수 있다.

보다 상세하게는, 히스토그램의 피크값의 X축 위치를 산출하고, X축 위치변화에 따른 객체의 이동방향을 추정하여 객체를 감지할 수 있다.

이어서, 단계 S1550에서 충돌방지시스템(100)은 감지된 객체의 X축 이동방향이 차량의 진행방향인 경우 단계 S1560에서 차량에 구비된 알람을 활성화할 수 있다.

여기서, 충돌방지시스템(100)은 위함한 객체만을 검출하기 위해

히스토그램의 피크의 위치가 X축 중심방향으로 이동하는 경우, 피크값에서 지정된 범위내에 있는 픽셀들에 대하여 스테레오 매칭(stereo matching)을 수행하되, 미리 지정된 위험 시차 범위내에서 매칭이 되는 픽셀의 개수가 위험임계값을 초과하는 경우, 차량의 알람을 활성화 할 수 있다.

지금까지 도 15를 참고하여 본 발명의 실시예에 따른 충돌방지방법에 대해서 설명하였다.

상술한 본 발명의 실시예에 따른 충돌방지방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

100: 충돌방지시스템 110: 카메라부
120: 그라운드맵 생성부 130: 강조영상 생성부
140: 제어부

Claims

차량에 구비되어 스테레오 영상을 촬영하는 카메라부;
상기 스테레오 영상에서 지면의 시차(disparity)값을 나타내는 그라운드맵(ground map)을 생성하는 그라운드맵 생성부;
상기 그라운드맵의 시차값에 따라 매칭되는 제1 영상의 픽셀과 제2 영상의 픽셀간의 차이값을 산출하여 강조영상을 생성하는 강조영상 생성부; 및
상기 강조영상을 이용하여 상기 지면에 존재하는 객체가 상기 차량에 접근시, 상기 차량에 구비된 알람을 활성화시키는 제어부를 포함하는 충돌방지시스템.
제1항에 있어서, 상기 그라운드맵 생성부는
상기 스테레오 영상에서 상기 차량의 진행방향에서 지면이 존재할 가능성이 높은 영역으로 미리 지정된 관심영역내에 포함된 영상만을 이용하여 그라운드맵을 생성하는, 충돌방지시스템
제2항에 있어서,
상기 관심영역은 상기 스테레오 영상의 영상 중앙 하단부인, 충돌방지시스템.
제1항에 있어서,
상기 그라운드맵은 스캔라인마다 대표시차값을 갖는, 충돌방지시스템
제4항에 있어서, 상기 그라운드맵 생성부는
상기 스테레오 영상내에서, 하단 스캔라인의 대표시차값을 산출후, 상단 스캔라인의 대표시차값을 산출하되, 하단 스캔라인의 대표시차값보다 작거나 같은 범위내에서 상단 스캔라인의 시차를 탐색하는, 충돌방지시스템.
제1항에 있어서,
상기 강조영상 생성부는,
상기 차이값이 지정된 차이임계값을 초과하는 경우 1을, 이하인 경우는 0을 할당하여 상기 강조영상을 이진 영상으로 생성하는, 충돌방지시스템.
제6항에 있어서,
상기 제어부는 상기 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 히스토그램을 산출하고, 히스토그램의 피크(peak)값으로 지면상에 존재하는 객체를 감지하는, 충돌방지시스템
제7항에 있어서,
상기 제어부는 상기 히스토그램의 피크값을 이용하여 상기 객체의 x축 방향 위치와, 상기 객체의 이동방향을 추정하는, 충돌방지시스템
제8항에 있어서,
상기 제어부는, 상기 객체의 이동방향의 상기 X축의 중심방향으로 이동하는 경우 상기 차량에 구비된 알람을 활성화시키는, 충돌방지시스템.
제8항에 있어서,
상기 제어부는, 상기 강조영상에서 픽셀 값이 1이고 X축 좌표가 상기 피크값에서 지정된 범위내에 있는 픽셀에 대하여 스테레오 매칭(stereo matching)을 수행하되, 미리 지정된 위험 시차 범위내에서 매칭이 되는 픽셀의 개수가 위험임계값을 초과하는 경우, 상기 차량의 알람을 활성화시키는, 충돌방지시스템.
제10항에 있어서,
상기 위험 시차 범위는 상기 차량의 주행속도가 클 수록 상대적으로 큰 시차범위를 가지는, 충돌방지시스템.
지면상의 객체와 차량간의 충돌을 방지 하는 방법에 있어서,
(a) 차량 전방의 스테레오 영상을 획득하는 단계;
(b) 상기 스테레오 영상에서 지면의 시차(disparity)값을 나타내는 그라운드맵(ground map)을 생성하는 단계;
(c) 상기 그라운드맵의 시차값에 따라 매칭되는 좌우영상의 픽셀간의 차이값을 산출하여 강조영상을 생성하는 단계; 및
(d) 상기 강조영상을 이용하여 상기 객체가 상기 차량에 접근시, 상기 차량에 구비된 알람을 활성화시키는 단계를 포함하는 충돌 방지 방법.
제12항에 있어서,
상기 (b)단계는 상기 스테레오 영상에서 상기 차량의 진행방향에서 지면이 존재할 가능성이 높은 영역으로 미리 지정된 관심영역내에 포함된 영상만을 이용하여 그라운드맵을 생성하는, 충돌 방지 방법.
제12항에 있어서,
상기 (b)단계는
상기 스테레오 영상내에서, 하단 스캔라인의 대표시차값을 산출후, 상단 스캔라인의 대표시차값을 산출하되, 하단 스캔라인의 대표시차값보다 작거나 같은 범위내에서 상단 스캔라인의 시차를 탐색하는 단계를 포함하는, 충돌 방지 방법.
제12항에 있어서,
상기 (c)단계는
상기 차이값이 지정된 차이임계값을 초과하는 경우 1을, 이하인 경우는 0을 할당하여 상기 강조영상을 이진 영상으로 생성하는 단계를 포함하는, 충돌 방지 방법.
제15항에 있어서,
상기 (d)단계는
(d1)상기 강조영상에서 값이 1인 픽셀의 개수를 Y축 방향으로 누적하여 히스토그램을 산출하는 단계; 및
(d2) 상기 히스토그램의 피크(peak)값으로 지면상에 존재하는 객체를 감지하는 단계를 포함하는, 충돌 방지 방법.
제16항에 있어서,
상기 (d)단계는
(d3) 상기 히스토그램의 피크값을 이용하여 상기 객체의 x축 방향 위치와, 상기 객체의 이동방향을 추정하는 단계를 더 포함하는, 충돌 방지 방법.
제17항에 있어서,
상기 (d)단계는
(d4) 상기 객체의 이동방향이 상기 X축의 중심방향인 경우 상기 차량에 구비된 알람을 활성화시키는 단계를 더 포함하는, 충돌 방지 방법.
제17항에 있어서,
상기 (d)단계는
(d4) 상기 강조영상에서 픽셀 값이 1이고 X축 좌표가 상기 피크값에서 지정된 범위내에 있는 픽셀에 대하여 스테레오 매칭(stereo matching)을 수행하되, 미리 지정된 위험 시차 범위내에서 매칭이 되는 픽셀의 개수가 위험임계값을 초과하는 경우, 상기 차량의 알람을 활성화시키는 단계를 더 포함하는, 충돌방지 방법.
제 12항 내지 제 19항 중 어느 하나의 충돌방지 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.