KR20180040313A - 단안 카메라를 이용한 차로 경계면 검출장치 및 방법 - Google Patents

Abstract

본 발명은 단안 카메라를 이용한 차로 경계면 검출장치 및 방법에 관한 것으로, 자동차의 자체움직임 정보를 구하는 움직임 정보처리부(20)와, 상기 자동차의 자체움직임에 따라 촬영된 영상에서 관심영역의 이동 예상경로를 검출하는 예상경로 검출부(30)와, 카메라(10)를 통해 촬영된 영상에서 관심영역의 이동경로를 추출하는 영상처리부(40)와, 상기 예상경로 검출부(30)의 이동 예상경로와 상기 영상처리부(40)의 실제 이동경로를 비교하는 비교부(50)와, 상기 비교부(50)의 비교결과 이동 예상경로와 실제 이동경로에 차이가 있는 경우 상기 관심영역이 도로의 경계면인 것으로 판단하여 검출하는 경계검출부(60)를 포함한다.

Description

단안 카메라를 이용한 차로 경계면 검출장치 및 방법{Road free space detection apparatus and method using a monocular camera}

본 발명은 단안 카메라를 이용한 차로 경계면 검출장치 및 방법에 관한 것으로, 구체적으로는 연산량을 최소화하면서도 차로 경계면을 정확하게 검출할 수 있는 단안 카메라를 이용한 차로 경계면 검출장치 및 방법에 관한 것이다.

최근 자동차 운행의 안전을 보장하기 위하여 차선을 감지하여 운행중 자동차가 차선을 이탈하는 경우 운전자에게 경고하는 차선 이탈 경고 시스템이 적용되고 있고, 주차시 주변 상황을 운전자에게 시각적으로 보여주어 안전한 주차가 가능하도록 하는 주차 보조 시스템 등이 적용되고 있다.

이러한 자동차 운행 안전을 돕는 시스템들은 주변의 영상을 촬영하는 영상 인식 장치가 기본적으로 탑재되어 있어야 구현이 가능하다. 특히 도로면과 높낮이 차가 없는 영역과 높낮이 차가 있는 영역을 구분해야 도로변의 배수로나 가드레일과 같은 차로 경계면을 검출할 수 있다.

종래에는 차로를 기준으로 높낮이에 차이가 있는 부분을 검출하기 위하여 스테레오 카메라(stereo camera)를 사용하였다. 스테레오 카메라는 동일한 피사체를 촬영한 두 영상의 깊이 정보를 이용하여 입체영상을 얻을 수 있다. 스테레오 카메라는 두 개의 카메라를 포함하며, 두 카메라간의 입체시(stereopsis) 관계는 공장에서 출고될 때 미리 알 수 있으며, 두 카메라가 동기화되어 촬영된 영상에서 깊이를 만들어 낸다.

이처럼 스테레오 카메라를 이용하여 도로상의 지형을 검출하는 종래의 방법은 본 발명의 출원인의 등록특허 10-1103526호(2012년 1월 2일 등록, 스테레오 카메라를 이용한 충돌회피 방법)이 있다.

그러나 스테레오 카메라는 단안 카메라에 비하여 가격이 높다는 문제점이 있었다.

이를 해결하기 위하여 단안 카메라 기반의 영상에서 깊이를 추출할 수 있는 모션 스테레오(motion stereo) 기법이 제안되었다. 모션 스테레오 기법은 단안 카메라에서 시간차를 두고 촬영된 영상의 두 프레임의 변환(transformation) 관계를 안다고 가정하여 입체시를 만들고, 피사체가 움직이지 않는다고 가정하여 3D 깊이를 만든다. 그러나 일반적으로 시차를 두고 움직이는 단안 카메라의 모션을 완벽하게 알기 어려우며, 이를 보완하기 위하여 연산량이 많은 알고리즘을 사용해야 하기 때문에 결국 단가가 높아진다는 문제점이 있었다.

본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출장치 및 방법은 전술한 문제점을 해결하기 위하여 다음과 같은 해결과제를 발명의 목적으로 한다.

먼저, 단안 카메라를 사용하여 차선이 훼손되거나 존재하지 않는 경우에도 차로 경계면을 검출할 수 있는 단안 카메라를 이용한 차로 경계면 검출방법을 제공하는데 있다.

또한 연산 부하를 줄일 수 있는 단안 카메라를 이용한 차로 경계면 검출방법을 제공함에 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 과제를 해결하기 위한 본 발명 단안 카메라를 이용한 차로 경계면 검출장치는, 자동차의 자체움직임 정보를 구하는 움직임 정보처리부(20)와, 상기 자동차의 자체움직임에 따라 촬영된 영상에서 관심영역의 이동 예상경로를 검출하는 예상경로 검출부(30)와, 카메라(10)를 통해 촬영된 영상에서 관심영역의 이동경로를 추출하는 영상처리부(40)와, 상기 예상경로 검출부(30)의 이동 예상경로와 상기 영상처리부(40)의 실제 이동경로를 비교하는 비교부(50)와, 상기 비교부(50)의 비교결과 이동 예상경로와 실제 이동경로에 차이가 있는 경우 상기 관심영역이 도로의 경계면인 것으로 판단하여 검출하는 경계검출부(60)를 포함할 수 있다.

상기 움직임 정보처리부(20)는, 상기 자동차에 설치된 속도센서(21), 기울기센서(22) 및 조향각도센서(23)를 통해 획득된 자동차의 속도, 기울기 및 조향각에 의해 상기 자동차의 자체움직임을 구할 수 있다.

상기 예상경로 검출부(30)는, 상기 카메라(10)에서 촬영된 영상에서 관심영역이 상기 자동차의 자체움직임에 대한 상대 운동을 하며, 도로와 동일한 높이에 있다는 가정을 하여 이동 예상경로를 검출할 수 있다.

상기 비교부(50)는, 상기 이동 예상경로와 실제 이동경로의 각도와 이동 정도를 비교할 수 있다.

또한 본 발명 단안 카메라를 이용한 차로 경계면 검출방법은, a) 자동차의 자체움직임 정보를 구하고, 상기 자동차의 자체움직임에 따라 촬영된 영상에서 관심영역의 이동 예상경로를 검출하는 단계와, b) 카메라를 통해 촬영된 영상에서 관심영역의 실제 이동경로를 검출하는 단계와, c) 상기 실제 이동경로와 이동 예상경로를 비교하는 단계와, d) 상기 c) 단계의 비교결과 실제 이동경로가 이동 예상경로와 차이가 있으면, 상기 관심영역을 차로 경계면으로 검출하는 단계를 포함할 수 있다.

상기 a) 단계는, 상기 자동차에 설치된 속도센서, 기울기센서, 조향각도센서를 통해 획득된 속도정보, 기울기정보 및 조향정보를 이용하여 자동차의 자체 움직임 정보를 구하고, 상기 자동차의 자체움직임에 대하여 상기 관심영역이 상대 이동하는 것으로정함과 아울러 상기 관심영역이 도로면과 동일 높이로 가정하여 상기 이동 예상경로를 검출할 수 있다.

상기 c) 단계는, 상기 이동 예상경로와 실제 이동경로의 각도와 이동 정도를 비교할 수 있다.

본 발명 단안 카메라를 이용한 차로 경계면 검출장치 및 방법은, 차량의 자체이동정보를 바탕으로 영상에서의 관심영역(Region Of Interest)의 이동을 예측하고, 상기 실제 관심영역의 이동과 비교하여, 그 비교결과의 일치여부에 따라 차로 경계면을 검출함으로써, 단안 카메라를 사용하여 스테레오 카메라의 사용에 비하여 비용을 줄일 수 있는 효과가 있다.

또한 본 발명은 연산량이 많은 모션 스테레오 기법을 사용하지 않고도 단안 카메라로 도로면과 높낮이 차가 있는 경계면을 검출할 수 있어 연산부하를 줄임과 아울러 비용을 절감할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출장치의 구성도이다.
도 2와 도 3은 전방으로 이동하는 카메라(10)에서 촬영된 관심영역의 상대 이동의 차이가 관심영역의 높이에 따라 발생함을 설명하기 위한 설명도이다.
도 4는 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출장치의 구성도이다.

도 1을 참조하면 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출장치는, 속도센서(21), 기울기 센서(22) 및 조향각도센서(23)를 통해 검출된 정보를 이용하여 자동차의 자체움직임 정보를 구하는 움직임 정보처리부(20)와, 상기 자동차의 자체움직임에 따라 촬영된 영상에서 특정한 영역의 예상 경로를 검출하는 예상경로 검출부(30)와, 카메라(10)를 통해 촬영된 영상에서 특정한 영역의 이동경로를 추출하는 영상처리부(40)와, 상기 예상경로 검출부(30)의 예상 경로와 상기 영상처리부(40)의 실제 이동경로를 비교하는 비교부(50)와, 상기 비교부(50)의 비교결과 예상 경로와 실제 경로에 차이가 설정값 이상이면 도로의 경계면으로 판단하여 영상에서 해당 영역을 차로 경계면으로 검출하는 경계검출부(60)를 포함하여 구성된다.

이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출장치의 구성과 작용에 대하여 보다 상세히 설명한다.

먼저, 카메라(10)는 단안 카메라(single camera)이며, 차량의 전방을 촬영할 수 있도록 설치되는 것이 바람직하다. 물론 본 발명은 차량의 후방이나 측방을 촬영한 이미지를 이용해서도 도로의 경계를 검출할 수는 있지만, 관심영역은 차량의 진행방향에 있는 것이 보통이므로 카메라(10)의 촬영영역은 차량의 주행방향인 전방으로 하는 것이 바람직하다.

또한 상기 카메라(10)는 일정한 프레임 레이트(frame rate)로 작동하는 것으로 한다.

상기 카메라(10)로 촬영된 영상의 프레임들은 영상처리부(40)로 제공되며, 상기 영상처리부(40)는 특정 프레임에서 관심영역을 지정하고 설정된 시간 후에 상기 카메라(10)로부터 제공된 영상의 프레임에서 상기 관심영역의 이동경로를 추출한다.

상기 관심영역은 주변과의 밝기 차이나 선형의 경계를 기준으로 설정할 수 있다. 관심영역의 이동경로를 추출하기 위해서는 영상에서 특정한 점 또는 영역이 시간의 차이를 두고 이동한 경우에도 동일한 밝기를 나타내는 특성을 이용할 수 있다.

상기 관심영역은 하나의 점 또는 영역이거나 획득된 영상의 프레임에서 서로 이격되어 분포하는 다수의 점 또는 영역일 수 있다. 상기 관심영역의 이동경로 정보는 비교부(50)에 제공된다.

이와 동시에 움직임 정보처리부(20)는 속도센서(21), 기울기센서(22), 조향각도센서(23)를 통해 얻어진 속도정보, 차량의 기울기 정보, 스티어링 휠의 회전 각도 정보를 이용하여 자동차의 자체움직임 정보를 확인한다.

그리고 예상경로 검출부(30)는 상기 움직임 정보처리부(20)에서 구한 자동차의 자체움직임을 이용하여 전방의 관심영역이 상대적으로 어떠한 이동 경로를 따라 상대 운동을 할 것인지 예측한 예상경로를 검출한다. 이때 예상경로는 도로면과 동일한 높이에 있는 것으로 가정하여 정한 것이다.

즉, 자동차의 움직임을 그대로 재현하여 전방에 위치하는 가상의 점 또는 영역이 상대적으로 어떤 움직임을 보이는지 예측한다.

상기 예상경로는 비교부(50)에 제공된다.

상기 비교부(50)는 상기 영상처리부(40)를 통해 얻어진 관심영역의 실제 이동경로와 상기 예상경로 검출부(30)에서 얻어진 예상경로를 비교한다. 이때의 비교는 실제 이동경로와 예상경로의 방향의 차이뿐만 아니라 이동 거리의 차이를 판단해야 한다.

도 2와 도 3은 전방으로 이동하는 카메라(10)에서 촬영된 관심영역의 상대 이동의 차이가 관심영역의 높이에 따라 발생함을 설명하기 위한 설명도이다.

먼저 도 2를 참조하면 도로면과 높이 차가 없는 관심영역(R)을 향해 이동하는 카메라(10)가 특정한 시간(t)에 관심영역(R)을 촬영하였을 때 획득된 영상의 프레임에서 관심영역의 위치(Pt)와 상기 특정한 시간(t)으로부터 소정의 시간이 경과한 시간(t+1)에서의 카메라(10)가 관심영역(R)을 촬영하여 획득된 영상의 프레임에서 관심영역의 위치(Pt+1)은 그 위치에 차이가 발생하게 된다. 이때의 위치 차이를 ΔP1이라고 정한다.

도 3은 도 2와 동일한 조건에서 관심영역(R)이 도로면에 비하여 더 높은 위치에 있을 때의 결과를 도시한 것이다. 즉, 도로면보다 높은 위치에 위치하는 관심영역(R)을 향해 이동하는 카메라(10)가 특정한 시간(t)에 관심영역(R)을 촬영하였을 때 획득된 영상의 프레임에서 관심영역의 위치(Pt)와 상기 특정한 시간(t)으로부터 소정의 시간이 경과한 시간(t+1)에서의 카메라(10)가 관심영역(R)을 촬영하여 획득된 영상의 프레임에서 관심영역의 위치(Pt+1)는 그 위치에 차이가 발생하게 되며, 이때의 위치 차이를 ΔP2라고 정한다.

위의 도 2에서 확인되는 ΔP1에 비하여 도 3의 ΔP2가 더 큰 값이 된다. 즉, 동일 조건에서 도로면과 동일한 높이에 있는 관심영역과 도로면보다 높게 위치하는 관심영역은 카메라(10)에 대한 상대운동의 정도에 차이가 발생하게 된다.

상기 예상경로 검출부(30)의 예상경로는 앞서 언급한 바와 같이 관심영역이 차선과 같이 도로면과 동일한 높이에 있는 것으로 가정하고, 획득된 자동차의 자체움직임에 대한 상대 이동을 구한 것이며, 영상처리부(40)의 이동경로는 실제 관심영역의 이동경로이기 때문에 이동경로에 차이가 있는 것은 상기 관심영역이 도로면과 동일한 높이가 아니라는 것을 의미한다.

경계검출부(60)는 상기 비교부(50)의 비교 결과에 따라 예상경로와 실제 이동경로가 서로 다른 관심영역을 도로의 경계면으로서 검출하게 된다.

이처럼 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출장치는, 단안 카메라(10)를 사용하면서도 도로면과 높이가 다른 관심영역을 검출할 수 있으며, 특히 종래의 모션 스테레오 방식에 비하여 연산량을 대폭 절감할 수 있어 비용을 줄일 수 있게 된다.

도 4는 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출방법의 순서도이다.

도 4를 참조하면 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출방법은, 차량의 움직임에 대하여 상대 이동을 하는 관심영역의 이동 예상경로를 구하는 단계(S10)와, 카메라를 통해 촬영된 영상의 프레임들을 이용하여 관심영역의 실제 이동경로를 구하는 단계(S20)와, 상기 이동 예상경로와 실제 이동경로를 비교하는 단계(S30)와, 상기 S30단계의 비교결과 상기 실제 이동경로가 이동 예상경로와 차이가 있으면 해당 관심영역을 도로의 경계면으로 검출하는 단계(S40)를 포함하여 구성된다.

이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 단안 카메라를 이용한 차로 경계면 검출방법의 구성과 작용을 보다 상세히 설명한다.

먼저, S10단계에서는 차량의 움직임에 대하여 상대 이동을 하는 관심영역의 이동 예상경로를 구한다. 이를 위하여 S11단계와 같이 차량에 설치된 속도센서, 기울기 센서, 조향각도센서를 이용하여 차량의 속도, 기울기 및 조향 각도를 검출하여, 차량의 자체움직임을 구한다.

그 다음, S12단계와 같이 차량의 자체움직임을 바탕으로 차량과는 상대 이동을 하는 관심영역의 이동 예상경로를 구한다. 이때 이동 예상경로의 대상인 관심영역은 도로면과 동일한 높이인 것으로 가정한다.

그 다음, S20단계에서는 상기 S10단계와 동시에 이루어지는 것으로 차량의 전방을 촬영하는 단안 카메라를 사용하여 획득한 영상에서 관심영역의 실제 이동경로를 검출한다.

상기 S20단계에서의 관심영역은 주변과 밝기 차이가 있는 영역 등으로 결정할 수 있으며, 차량의 움직임에 대하여 상대적으로 이동하는 관심영역의 실제 이동경로를 추출할 수 있다.

그 다음, S30단계에서는 상기 S10단계에서 구한 이동 예상경로와 상기 S20단계에서 구한 실제 이동경로를 비교한다. 이때 비교는 이동되는 각도와 정도를 모두 포함한다. 즉, 촬영된 영상에서 관심영역이 촬영된 위치정보의 변경사항을 확인하여 예상경로와 비교한다.

그 다음, S40단계에서는 상기 S30단계의 비교결과 이동 예상경로와 실제 이동경로가 일치하거나 설정된 오차범위 이내이면, 관심영역이 도로와 동일한 높이인 것으로 하고, 이동 예상경로와 실제 이동경로가 오차범위 이상 차이가 있는 경우에는 도로면 보다 높거나 낮은 차로 경계면으로 검출하게 된다.

이와 같은 판단의 근거는 상기 이동 예상경로를 정할 때 관심영역이 도로면과 높이가 동일하다는 가정을 하였기 때문이며, 이동 예상경로와 실제 이동경로의 차이가 관심영역의 높이 차로 인식할 수 있음은 도 2와 도 3의 비교를 통해 앞에서 충분히 설명하였다.

이처럼 본 발명은 단안 카메라를 사용하고, 복잡한 알고리즘을 사용하지 않으면서도 차로 경계면을 용이하게 검출할 수 있다.

10:카메라 20:움직임 정보처리부
21:속도센서 22:기울기센서
23:조향각도센서 30:예상경로 검출부
40:영상처리부 50:비교부
60:경계검출부

Claims (7)

1. 자동차의 자체움직임 정보를 구하는 움직임 정보처리부(20)와,
   상기 자동차의 자체움직임에 따라 촬영된 영상에서 관심영역의 이동 예상경로를 검출하는 예상경로 검출부(30)와,
   카메라(10)를 통해 촬영된 영상에서 관심영역의 이동경로를 추출하는 영상처리부(40)와,
   상기 예상경로 검출부(30)의 이동 예상경로와 상기 영상처리부(40)의 실제 이동경로를 비교하는 비교부(50)와,
   상기 비교부(50)의 비교결과 이동 예상경로와 실제 이동경로에 차이가 있는 경우 상기 관심영역이 도로의 경계면인 것으로 판단하여 검출하는 경계검출부(60)를 포함하는 단안 카메라를 이용한 차로 경계면 검출장치.
2. 제1항에 있어서,
   상기 움직임 정보처리부(20)는,
   상기 자동차에 설치된 속도센서(21), 기울기센서(22) 및 조향각도센서(23)를 통해 획득된 자동차의 속도, 기울기 및 조향각에 의해 상기 자동차의 자체움직임을 구하는 것을 특징으로 하는 단안 카메라를 이용한 차로 경계면 검출장치.
3. 제1항에 있어서,
   상기 예상경로 검출부(30)는,
   상기 카메라(10)에서 촬영된 영상에서 관심영역이 상기 자동차의 자체움직임에 대한 상대 운동을 하며, 도로와 동일한 높이에 있다는 가정을 하여 이동 예상경로를 검출하는 것을 특징으로 하는 단안 카메라를 이용한 차로 경계면 검출장치.
4. 제1항에 있어서,
   상기 비교부(50)는,
   상기 이동 예상경로와 실제 이동경로의 각도와 이동 정도를 비교하는 것을 특징으로 하는 단안 카메라를 이용한 차로 경계면 검출장치.
5. a) 자동차의 자체움직임 정보를 구하고, 상기 자동차의 자체움직임에 따라 촬영된 영상에서 관심영역의 이동 예상경로를 검출하는 단계;
   b) 카메라를 통해 촬영된 영상에서 관심영역의 실제 이동경로를 검출하는 단계;
   c) 상기 실제 이동경로와 이동 예상경로를 비교하는 단계; 및
   d) 상기 c) 단계의 비교결과 실제 이동경로가 이동 예상경로와 차이가 있으면, 상기 관심영역을 차로 경계면으로 검출하는 단계를 포함하는 단안 카메라를 이용한 차로 경계면 검출방법.
6. 제5항에 있어서,
   상기 a) 단계는,
   상기 자동차에 설치된 속도센서, 기울기센서, 조향각도센서를 통해 획득된 속도정보, 기울기정보 및 조향정보를 이용하여 자동차의 자체 움직임 정보를 구하고,
   상기 자동차의 자체움직임에 대하여 상기 관심영역이 상대 이동하는 것으로정함과 아울러 상기 관심영역이 도로면과 동일 높이로 가정하여 상기 이동 예상경로를 검출하는 것을 특징으로 하는 단안 카메라를 이용한 차로 경계면 검출방법.
7. 제5항에 있어서,
   상기 c) 단계는,
   상기 이동 예상경로와 실제 이동경로의 각도와 이동 정도를 비교하는 것을 특징으로 하는 단안 카메라를 이용한 차로 경계면 검출방법.

Images