KR101543119B1 - 합성된 주행 영상 제공방법 - Google Patents

Abstract

본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법은 차량에 구비된 카메라를 통해서, 미리 설정된 시간 간격에 따라 상기 차량 주변의 복수의 영상을 연속으로 획득하는 영상 획득 단계, 상기 획득된 복수의 영상 각각에 포함된 주변 차량을 검출하고, 상기 검출된 주변 차량을 제거하는 차량 제거 단계, 상기 주변 차량이 제거된 상기 복수의 영상 각각에서 특징점을 검출하는 특징점 검출 단계, 및 상기 검출된 특징점을 통하여 상기 복수의 영상을 정합하여 합성하는 영상 합성 단계를 포함하는 것을 특징으로 한다.

Description

합성된 주행 영상 제공방법{METHOD FOR PROVIDING DRIVE COMPOSITE IMAGE}

본 발명은 합성된 주행 영상 제공방법에 관한 것으로서, 보다 상세하게는 과거 일정 시점부터 현재까지의 영상을 합성하여 차량의 운전자에게 제공하는 합성된 주행 영상 제공방법에 관한 것이다.

주행 중 운전자가 주의를 기울이고 보기 힘든 영역은 운전자의 안전을 위협하는 큰 위험요소가 된다. 차량을 운전하는 운전자는 일반적으로 직접적인 주행 전방만을 주시하고 있기 때문에, 차량의 직접적인 주행 전방의 주변에는 주의를 기울이기가 어렵다.

이러한 위험요소를 제거하기 위해서 차량에는 다양한 사각지대 제거장치가 개발되어 왔다. 사이드 미러에서 볼 수 없는 사각지대를 제거하기 위해서 보조거울을 일체화시키거나, 적외선 센서로 후방의 물체를 감지하고 경보를 통해 운전자에게 위험을 알려주는 장치들이 개발되었고, 현재 실제 차량에 사용되고 있다. 최근에는 차량의 전방 및 후방의 영상을 운전자의 디스플레이에 출력하여 사각지대를 줄여주는 방법들이 있다.

하지만, 이러한 방법들은 근본적으로 운전자가 주행 중에 주의를 기울이고 보기 힘든 영역의 일부만을 제거한다는 단점을 가진다. 사이드 보조 거울의 경우에는 추가적으로 장착되는 볼록 거울을 통해 좌/우측 후방의 왜곡된 영상을 운전자가 보게 된다. 거기에 운전자와 거리가 먼 우측의 경우는 물체의 존재 여부만이 어렴풋이 감지될 뿐이다.

적외선 센서를 이용하여 사각지대의 물체를 감지하는 것은 사각지대에 들어온 물체들을 보여주는 것이 아니라 단지 센서의 영역 안에 물체의 존재 여부를 감별해 줄 뿐이다. 인간의 감각 중 가장 민감한 감각이 시각인 것을 고려해 봤을 때 후방을 보여주는 것이 비해 운전자의 위험물 인지능력은 상당히 떨어진다고 볼 수 있다. 더욱이 다수의 위험물이 존재할 때 운전자는 위험물이 다수인지 하나인지 알 수 없으므로 그로 인한 사고가 발생할 수도 있다.

또한, 후방의 감시 카메라의 경우 후방을 그대로 운전자에게 보여주는 효율적인 사각지대 제거 방법이기는 하지만 그 범위가 후방에 제한되어 있고, 전방의 감시 카메라의 경우에도, 차량 주행 중 운전자에게 보여져야 할 관심 물체가 다른 선행 차량에 가려져서 보이지 않는 경우도 있어, 운전자에게 안전한 운전을 지원하는 것에 한계를 가진다.

본 발명의 목적은 과거 일정시험부터 현재까지의 영상을 합성하여 운전자에게 제공하는 합성된 주행 영상 제공방법을 제공하는 데 있다.

본 발명의 다른 목적은 주행 전방에 다른 선행 차량들에 의해서 가려지는 지시물이 존재하는 합성된 영상을 운전자에게 제공하는 합성된 주행 영상 제공방법을 제공하는 데 있다.

본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법은 차량에 구비된 카메라를 통해서, 미리 설정된 시간 간격에 따라 상기 차량 주변의 복수의 영상을 연속으로 획득하는 영상 획득 단계, 상기 획득된 복수의 영상 각각에 포함된 주변 차량을 검출하고, 상기 검출된 주변 차량을 제거하는 차량 제거 단계, 상기 주변 차량이 제거된 상기 복수의 영상 각각에서 특징점을 검출하는 특징점 검출 단계, 및 상기 검출된 특징점을 통하여 상기 복수의 영상을 정합하여 합성하는 영상 합성 단계를 포함하는 것을 특징으로 한다.

실시 예에 있어서, 상기 차량의 주행시, 상기 차량의 주행 속도를 판단하는 속도 판단 단계를 더 포함하고, 상기 미리 설정된 시간은 상기 차량의 주행 속도에 따라 적응적으로 변화되는 것을 특징으로 한다.

실시 예에 있어서, 상기 미리 설정된 시간은 상기 차량의 주행 속도와 반비례하는 것을 특징으로 한다.

실시 예에 있어서, 상기 차량의 주행시, 상기 차량의 주행 속도를 판단하는 속도 판단 단계, 및 상기 획득된 복수의 영상 각각에 포함된 도로 표지판을 검출하는 표지판 검출 단계를 더 포함하고, 상기 표지판 검출 단계는 상기 차량의 주행 속도에 따라 상기 획득된 복수의 영상 각각에서 상기 도로 표지판을 검출하는 검출 크기를 적응적으로 결정하는 것을 특징으로 한다.

실시 예에 있어서, 상기 속도 판단 단계는 상기 주행 속도를 저속 주행, 중속 주행 및 고속 주행 중 어느 하나로 판단하고, 상기 표지판 검출 단계는 상기 주행 속도가 빠른 주행일수록 상기 검출 크기가 작아지도록 적응적으로 결정하는 것을 특징으로 한다.

실시 예에 있어서, 상기 특징점 검출 단계는 지역 특징 묘사자(local feature descriptor)를 이용하여 상기 주변 차량이 제거된 상기 복수의 영상 각각에서 특징점을 검출하는 것을 특징으로 한다.

실시 예에 있어서, 상기 카메라는 상기 차량의 주행 방향으로 고정된 초점을 가지고 있고, 상기 영상 합성 단계는 상기 획득된 복수의 영상 중, 상기 시간 간격(a)에 따라 앞선 시점(T-a)에 획득된 영상을 확대하여 현재 시점(T)에 획득된 영상과 정합하여 합성하는 것을 특징으로 한다.

실시 예에 있어서, 상기 영상 합성 단계에서 합성된 영상을 상기 차량에 구비된 디스플레이를 통해서 상기 차량의 운전자에게 시각적으로 인지되도록 하는 영상 제공 단계를 더 포함하는 것을 특징으로 한다.

실시 예에 있어서, 상기 지역 특징 묘사자는 SIFT 묘사자(scale-invariant feature transform descriptor) 또는 SURF 묘사자(speeded up robust features descriptor)인 것을 특징으로 한다.

본 발명에 따른 합성된 주행 영상 제공방법은 과거 일정시점부터 현재까지의 영상을 합성하여 운전자에게 제공할 수 있다.

또한, 주행 전방에 다른 선행 차량들에 의해서 가려지는 지시물이 존재하는 합성된 영상을 운전자에게 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법의 시간에 따른 합성 영상을 출력하는 과정을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법에서 T시점에서 가려진 도로 표지판이 합성된 영상에는 존재하도록 영상을 합성하는 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법을 통해서 운전자에게 제공되는 영상을 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

도면들에 있어서, 본 발명의 실시 예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 본 명세서에서 특정한 용어들이 사용되었으나. 이는 본 발명을 설명하기 위한 목적에서 사용된 것이며, 의미 한정이나 특허 청구 범위에 기재된 본 발명의 권리 범위를 제한하기 위하여 사용된 것은 아니다.

본 명세서에서 ‘및/또는’이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, ‘연결되는/결합되는’이란 표현은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다. 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 ‘포함한다’ 또는 ‘포함하는’으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작 및 소자의 존재 또는 추가를 의미한다.

이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다.

많은 자동차 회사들이 최근에는 사용자의 편안하고 안전한 운전을 지원하기 위한 다양한 운전지원 시스템을 지속적으로 개발하여 생산되는 차에 적용하고 있다. 이를 위해서, 차량의 내부 및 외부에 차량의 상태 및 주변 상황을 판단하기 위한 다양한 센서 및 장치들이 장착되고 있다. 이 중, 차량에 장착된 카메라는 대표적인 상황 판단 센서이다. 차량에 장착된 카메라를 이용한 운전 지원 시스템의 사례로는 차선이탈경보기능, 전방향 모니터링 시스템 등이 있으며, 지속적으로 보다 다양한 정보를 차량의 탑승자 특히, 운전자에게 제공해 줄 수 있는 시스템이 차량에 적용되고 있다.

카메라는 차량의 후방 및 측방, 차량 최근접 영역과 같이 운전자가 인지하기 힘든 사각 영역을 운전자에게 보여줄 수 있다. 또한 전방 보행자, 차량, 도로 표지판 등과 같이 차량 운행에 있어, 운전자가 인지할 필요가 있는 관심 물체를 검출하여 운전자가 시각적으로 주변 상황을 인식 및 판단할 수 있도록 한다.

도 1은 본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법의 시간에 따른 합성 영상을 출력하는 과정을 나타내는 도면이다. 도 1을 참조하면, 기준 시간을 T로 나타내고, 미리 설정된 시간 간격을 1로 나타내었다. 여기서, 미리 설정된 시간 간격은 차량의 주행 속도에 따라 적응적으로 변화할 수 있다.

각각의 특정 시간(T, T+1, T+2)에서 수행되는 단계들 각각은 동일하다. 예를 들어, T 시간에서 수행되는 단계인 S210 내지 S250과 T+1 시간에서 수행되는 단계인 S310 내지 S250은 동일하다. 이하에서는 T 시간을 기준으로 구체적인 설명을 한다.

먼저, T 시간에 차량에 구비된 카메라를 통해서, 주행하는 차량 주변(예를 들어, 주행 전방)의 영상을 획득한다(S210).

그 후, 획득된 영상에 포함된 전경을 제거한다. 구체적으로 획득된 영상에는 주변 차량, 도로 표지판, 주행 차선 등이 포함되어 있다. 그 중 포함된 주변 차량 등과 같은 운전자의 관심 대상물이 아닌 대상물을 검출하고, 검출된 주변 차량 등을 제거한다(S220). 획득된 영상에서 주변 차량을 검출할 때, 차량 검출 알고리즘 및 영상 정합(image stitching) 기법이 이용될 수 있고, 그로 인해서 차량 검출 알고리즘을 통해 주행 방향 전방에 있는 차량 및 움직이는 물체를 검출하여 해당 영역을 제거할 수 있다.

그 후, 주변 차량이 제거된 영상에서 특징점을 검출한다(S230). 여기서, 지역 특징 묘사자(local feature descriptor)를 이용하여 영상에서 특징점을 검출할 수 있고, 지역 특징 묘사자는 SIFT 묘사자(scale-invariant feature transform descriptor) 또는 SURF 묘사자(speeded up robust features descriptor)일 수 있다.

이 후, S230 단계에서 검출된 특징점을 통하여 영상을 정합하여 합성한다(S240). 여기서 정합되고 합성되는 대상물은 과거 일정 시점에서부터 T 시간까지 획득되어 주변 차량 등이 제거되고, 특징점이 검출된 영상이 된다. 보다 자세히 설명하면, T 시간의 S240 단계는 도 1에 구체적으로 도시되지는 않았지만 이전 시간인 T-1 시간에서 획득되어 정합 및 합성된 영상을 전달받아, S230 단계를 통해서 전달된 영상과 정합 및 합성한다. 이후, 시간인 T+1 시간의 S340 단계에서도 T 시간의 S240 단계에서 정합 및 합성된 영상을 전달받아, S330 단계를 통해서 전달된 영상과 정합 및 합성하여 이후 시간인 T+2 시간의 S440 단계로 전달한다.

다시 T 시간으로 돌아가 계속 설명하면, S240 단계에서 정합되고 합성된 영상은 차량의 운전자에게 시각적으로 인지되도록 해당 차량에 구비된 디스플레이를 통해서 제공될 수 있다.

한편, 차량의 주행 속도가 빨라지면, 영상에서 관심 물체를 검출하는 성능이 변화된다. 차량에 장착된 카메라는 일정한 프레임으로 영상을 획득하기 때문에, 고속 주행의 경우 연속된 영상을 획득하는 양이 저속 주행보다 부족할 수 있다. 그러나 본 발명에 따른 합성된 주행 영상 제공방법은 차량의 주행시, 차량의 주행 속도를 판단하는 속도 판단 단계를 더 포함할 수 있고, 영상을 획득하는 간격인 미리 설정된 시간은 속도 판단 단계에서 산출된 차량의 주행 속도에 따라 적응적으로 변화할 수 있다. 구체적으로, 미리 설정된 시간은 차량의 주행 속도와 반비례할 수 있다. 즉, 고속 주행시 짧은 간격으로 많은 양의 영상을 획득하고, 저속 주행시에는 그보다는 긴 가격으로 적은 영상을 획득하고, 이를 합성하여 운전자에게 합성된 영상을 제공할 수 있다.

이와 함께, 본 발명에 따른 합성된 주행 영상 제공방법은 차량의 주행시, 차량의 주행 속도를 판단하는 속도 판단 단계와 함께, 획득된 복수의 영상 각각에 포함된 도로 표지판을 검출하는 표지판 검출 단계를 더 포함할 수 있다. 차량의 운행시 운전자의 관심 물체가 도로 표지판인 경우, 해당 도로 표지판을 관심영역(ROI; region of interest)으로 설정하여 검출할 수 있다. 이러한 경우에도, 차량에 장착된 카메라는 일정한 프레임으로 영상을 획득하기 때문에, 고속 주행의 경우 연속된 영상을 획득하는 양이 저속 주행보다 부족할 수 있고, 그에 따라 주행 속도에 따라 획득된 복수의 영상 각각에서 도로 표지판을 검출하는 관심영역의 크기인 검출 크기를 적응적으로 결정할 수 있다. 구체적으로, 주행 속도가 빠른 주행일수록 도로 표지판을 검출하는 검출 크기가 작아지도록 적응적으로 결정할 수 있다.

만일 차량에 장착된 카메라가 15fps로 영상을 획득하는 경우, 고속 주행의 경우 저속 주행과 비교했을 때, 영상 내에 속도표지판이 존재하는 영상 프레임의 개수가 감소한다. 따라서 고속 주행시 관심영역은 작게 하여 도로 표지판을 검출하고, 검출된 관심영역을 확대하여 다른 영상과 합성할 수 있다.

여기서 속도 판단 단계는 차량의 속도에 따라 저속 주행, 중속 주행 및 고속 주행 3단계로 구분하여 차량의 속도를 판단할 수 있으며, 고속 주행, 중속 주행 및 저속 주행 각각에 대해 앞선 속도 단계에서 설정된 관심영역의 크기의 85% 크기로 관심영역을 설정할 수 있다.

그 결과, 본 발명에 따른 합성된 주행 영상 제공방법은 차량에 장착된 카메라를 이용하여 과거의 일정 시점부터 현재까지의 영상을 합성하여 운전자에게 시각적으로 제공함으로써 운전자의 안전한 차량 운행을 지원한다. 구체적으로, 차량의 주행 중에 도로 표지판과 같이 고정된 관심 물체가 해당 차량의 주행 방향에 존재하는 선행 차량에 가려져서 보이지 않는 경우, 과거의 일정 시점 내에 해당 도로를 주행하며 획득된 주행 영상에 해당 관심 물체가 존재한다면 이를 현재 해당 도로를 주행하며 획득한 주행 영상과 합성하여 현재에는 선행 차량에 가려져 보이지 않는 도로 표지판을 합성된 영상을 통해서 운전자에게 제공해 줄 수 있다.

도 2는 본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법에서 T시점에서 가려진 도로 표지판이 합성된 영상에는 존재하도록 영상을 합성하는 과정을 나타내는 도면이다.

먼저, 합성된 영상을 살펴보면, 우측 상단에 도로 표지판이 존재한다. 그러나 특정 시점(예를 들어, 현재)인 T 시간에 획득된 영상에서는 우측 상단의 도로 표지판은 제거된 다른 주행 차량에 가려져 보이지 않는다. 그러나, 과거 T-15 시간에 해당 도로를 주행하여 획득한 영상에는 해당 도로 표지판이 존재한다. 이러한 경우, 본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법은 T-15 시간에서 획득된 영상과 특정 시점인 T 시간에서 획득된 영상을 정합하여 합성한다. 따라서 실제로는 특정 시점인 T 시간에 다른 주행 차량에 가려져 보이지 않는 도로 표지판이 합성된 영상을 통해서 운전자에게 보여지게 되고, 운전자는 안전하게 관심 대상물인 도로 표지판을 확인할 수 있게 된다.

도 3은 본 발명의 일 실시 예에 따른 합성된 주행 영상 제공방법을 통해서 운전자에게 제공되는 영상을 나타내는 도면이다.

현재 시점이 T 인 경우, T-3, T-7 및 T-10 시점은 이보다 과거의 시점이다. 그리고, 주행 방향이 일정한 경우 현재 보다 과거의 특정 시점(T-3, T-7 및 T-10)에 획득된 영상은 현재인 T 시점보다 더 넓은 시야각을 가진다는 것을 볼 수 있다. 결국, 본 발명에 따른 합성된 주행 영상 제공방법은 과거 일정 시점부터 현재까지 획득된 영상을 정합하여 합성한 전체 영상을 통해서 현재 T 시점에서 운전자가 볼 수 있는 시야보다 더 넓은 시야각을 운전자에게 제공할 수 있다.

이상에서 살펴본 바와 같이, 본 발명에 따른 합성된 주행 영상 제공방법은 미리 설정된 시간 간격에 따라 차량 주변의 복수의 영상을 연속으로 획득하고, 획득된 영상에서 관심 물체가 아닌 주변 차량 등을 제거한 후, 특징점을 검출하고, 추출된 특징점을 이용하여 영상을 정합하여 합성한다. 그 결과, 차량의 주행 중에 도로 표지판과 같이 고정된 관심 물체가 해당 차량의 주행 방향에 존재하는 선행 차량에 가려져서 보이지 않는 경우, 과거의 일정 시점 내에 해당 도로를 주행하며 획득된 주행 영상에 해당 관심 물체가 존재한다면 이를 현재 해당 도로를 주행하며 획득한 주행 영상과 합성하여 현재에는 선행 차량에 가려져 보이지 않는 도로 표지판을 합성된 영상을 통해서 운전자에게 제공해 줄 수 있다.

이상에서, 본 발명은 구체적인 실시 예를 통해 설명되고 있으나, 본 발명은 그 범위에서 벗어나지 않는 한도 내에서 여러 가지로 변형할 수 있음은 잘 이해될 것이다. 그러므로, 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위 및 이와 균등한 것들에 의해 정해져야 한다. 상술한 내용을 고려하여 볼 때, 만약 본 발명의 수정 및 변경이 아래의 청구항들 및 동등물의 범주 내에 속한다면, 본 발명이 이 발명의 변경 및 수정을 포함하는 것으로 여겨진다.

Claims (9)

1. 차량에 구비된 카메라를 통해서, 미리 설정된 시간 간격에 따라 상기 차량 주변의 복수의 영상을 연속으로 획득하는 영상 획득 단계;
   상기 획득된 복수의 영상 각각에 포함된 주변 차량을 검출하고, 상기 검출된 주변 차량을 제거하는 차량 제거 단계;
   상기 주변 차량이 제거된 상기 복수의 영상 각각에서 특징점을 검출하는 특징점 검출 단계; 및
   상기 검출된 특징점을 통하여 상기 복수의 영상을 정합하여 합성하는 영상 합성 단계를 포함하되, 상기 특징점 검출 단계는 지역 특징 묘사자(local feature descriptor)를 이용하여 상기 주변 차량이 제거된 상기 복수의 영상 각각에서 특징점을 검출하는 것을 특징으로 하는 합성된 주행 영상 제공방법.
2. 제 1 항에 있어서,
   상기 차량의 주행시, 상기 차량의 주행 속도를 판단하는 속도 판단 단계를 더 포함하고,
   상기 미리 설정된 시간은 상기 차량의 주행 속도에 따라 적응적으로 변화되는 것을 특징으로 하는 합성된 주행 영상 제공방법.
3. 제 2 항에 있어서,
   상기 미리 설정된 시간은 상기 차량의 주행 속도와 반비례하는 것을 특징으로 하는 합성된 주행 영상 제공방법.
4. 제 1 항에 있어서,
   상기 차량의 주행시, 상기 차량의 주행 속도를 판단하는 속도 판단 단계; 및
   상기 획득된 복수의 영상 각각에 포함된 도로 표지판을 검출하는 표지판 검출 단계를 더 포함하고,
   상기 표지판 검출 단계는,
   상기 차량의 주행 속도에 따라 상기 획득된 복수의 영상 각각에서 상기 도로 표지판을 검출하는 검출 크기를 적응적으로 결정하는 것을 특징으로 하는 합성된 주행 영상 제공방법.
5. 제 4 항에 있어서,
   상기 속도 판단 단계는,
   상기 주행 속도를 저속 주행, 중속 주행 및 고속 주행 중 어느 하나로 판단하고,
   상기 표지판 검출 단계는,
   상기 주행 속도가 빠른 주행일수록 상기 검출 크기가 작아지도록 적응적으로 결정하는 것을 특징으로 하는 합성된 주행 영상 제공방법.
6. 삭제
7. 제 1 항에 있어서,
   상기 카메라는,
   상기 차량의 주행 방향으로 고정된 초점을 가지고 있고,
   상기 영상 합성 단계는,
   상기 획득된 복수의 영상 중, 상기 시간 간격(a)에 따라 앞선 시점(T-a)에 획득된 영상을 확대하여 현재 시점(T)에 획득된 영상과 정합하여 합성하는 것을 특징으로 하는 합성된 주행 영상 제공방법.
8. 제 1 항에 있어서,
   상기 영상 합성 단계에서 합성된 영상을 상기 차량에 구비된 디스플레이를 통해서 상기 차량의 운전자에게 시각적으로 인지되도록 하는 영상 제공 단계를 더 포함하는 것을 특징으로 하는 합성된 주행 영상 제공방법.
9. 제 1 항에 있어서,
   상기 지역 특징 묘사자는,
   SIFT 묘사자(scale-invariant feature transform descriptor) 또는 SURF 묘사자(speeded up robust features descriptor)인 것을 특징으로 하는 합성된 주행 영상 제공방법.

Images