KR20180035851A - 자동차의 주변 영역 내의 물체를 식별하기 위한 방법, 운전자 보조 시스템, 및 자동차 - Google Patents

Abstract

본 발명은, 자동차(1)의 주변 영역(4) 내의 물체(8)를 정지 물체로서 식별하기 위한 방법에 관한 것으로서, 본 방법에서는, 차량측 캡처 장치(3)를 사용하여 주변 영역(4)을 이미지(12, 14)로 캡처하고, 이미지 처리 장치(5)를 사용하여 적어도 하나의 캡처된 이미지(12, 14) 내에서 물체(8)를 탐지하고, 자동차(1)에 대한 주변 영역(4) 내의 물체(8)의 제 1 위치(P1)는 적어도 하나의 캡처된 제 1 이미지(12)에 기초하여 추정되고, 물체(8', 8")의 이동 시퀀스(15)가 제 1 이미지(12) 및 적어도 하나의 캡처된 제 2 이미지(14)에 기초하여 이미지 좌표(a, b)로 결정되고, 제 1 정지 물체를 특징짓는 제 1 이동 시퀀스(16)가 주변 영역(4)에서의 추정된 제 1 위치(P1)로부터 이미지 좌표(a, b)로 결정되고, 캡처된 물체(8)는 캡처된 물체(8', 8")의 이동 시퀀스(15)와 특징 규정용 제 1 이동 시퀀스(16)와의 비교에 기초하여 정지 물체로서 식별된다. 본 발명은 또한 운전자 보조 시스템(2) 및 자동차(1)에 관한 것이다.

Description

자동차의 주변 영역 내의 물체를 식별하기 위한 방법, 운전자 보조 시스템, 및 자동차

본 발명은 자동차의 주변 영역 내의 물체를 정지 물체(stationary object)로서 식별하기 위한 방법에 관한 것으로서, 본 방법에서는, 차량측 캡처 장치(capture device)를 사용하여 주변 영역을 이미지로 캡처하고, 이미지 처리 장치를 사용하여 적어도 하나의 캡처된 이미지에서 물체를 탐지한다. 본 발명은 또한 운전자 보조 시스템 및 자동차에 관한 것이다.

카메라와 같은 캡처 장치를 자동차에 장착하고, 그에 의해 자동차의 주변 영역을 이미지로 캡처하는 것은 종래로부터 이미 공지되어 있다. 예컨대 이미지 처리 장치를 사용하여 이미지들에서 물체를 인식함으로써, 그 이미지들로부터 정보가 추출될 수 있다. 예컨대, DE 10 2008 063 328 A1은 캡처된 물체에 기초하여 자동차의 피치각(pitch angle)의 변화를 결정하는 것을 제안한다.

상기 정보는 자동차의 운전자 보조 시스템, 예컨대 자동 하이빔 조절 시스템에 제공될 수 있다. 이미지로부터 추출된 정보는, 예컨대 자동차에 의해 방출된 하이빔을, 한편으로는 자동차의 주변 영역 특히 자동차의 도로가 가능한 한 밝게 조명되고, 다른 한편으로는 다가오는 차량(oncoming vehicle)과 같은 다른 도로 사용자들이 눈부시지 않도록 조절하기 위해 사용될 수 있다. 이를 위해, 자동차의 주변 영역 내의 캡처된 물체는, 예컨대 다가오는 차량 그 자체가 우선적으로 인식되도록 초기에 분류 또는 식별될 필요가 있다.

본 발명의 목적은 자동차의 주변 영역 내의 물체를 확실하게 그리고 간단하게 식별할 수 있는 것이다.

이러한 목적은 독립 청구항에 따른 특징을 갖는 본 발명의 방법, 운전자 보조 시스템 및 자동차에 의해 달성된다.

본 발명에 따른 방법은 자동차의 주변 영역 내의 물체를 정지 물체로서 식별하기 위한 것이다. 본 방법에서는, 차량측 캡처 장치를 사용하여 주변 영역을 이미지로 캡처하고, 이미지 처리 장치를 사용하여 적어도 하나의 캡처된 이미지 내에서 물체를 인식한다. 또한, 자동차에 대한 주변 영역 내의 물체의 제 1 위치는 적어도 하나의 캡처된 제 1 이미지에 기초하여 추정되고, 물체의 이동 시퀀스(movement sequence)가 제 1 이미지 및 적어도 하나의 캡처된 제 2 이미지에 기초하여 이미지 좌표로 결정되고, 정지 물체를 특징짓는 제 1 이동 시퀀스가 주변 영역에서의 추정된 제 1 위치에 기초하여 이미지 좌표로 결정되고, 캡처된 물체는 캡처된 물체의 이동 시퀀스와 특징 규정용 제 1 이동 시퀀스와의 비교에 기초하여 정지 물체로서 식별된다.

본 방법은 결과적으로 주변 영역 내의 물체가 정지 물체인지 비정지 물체인지 여부를 식별하기 위해 사용된다. 본 방법을 이용하여 물체가 비정지 상태인 것으로 식별되면, 그 물체는 동적인 물체인 것으로 추정된다. 본 방법에서는, 자동차의 주변 영역, 특히 주행 방향으로 자동차의 전방, 특히 측전방에 위치된 주변 영역이 차량측 캡처 장치를 사용하여 이미지로 캡처되는데, 차량측 캡처 장치는 예컨대 적어도 하나의 카메라를 포함한다. 카메라는 여기에서는 구체적으로 주변 영역을 2차원적으로 캡처하도록 설계되어 있다. 이미지 처리 장치는 적어도 하나의 캡처된 이미지의 이미지 데이터로부터 적어도 하나의 캡처된 이미지에서의 물체의 2차원 투영(two-dimensional projection)을 인식하고, 그에 따라 주변 영역 내의 물체를 인식하도록 설계된다.

본 발명에 따르면, 이제, 자동차에 대한 주변 영역 내의 물체, 즉 실제 물체의 제 1 위치가 캡처된 제 1 이미지에 기초하여 추정된다. 제 1 이미지는, 물체가 이미지 처리 장치에 의해 인식되었던 이미지일 수 있다. 주변 영역 내의 실제 물체의 제 1 위치는 제 1 이미지 상의 물체의 2차원 투영에 기초하여, 예컨대 그 이미지 상의 물체의 2차원적인 기하학적 측정값에 기초하여 추정될 수 있다. 제 1 위치는 여기에서는 특히 국제 좌표계에서 결정되며, 자동차로부터 캡처된 물체까지의 제 1 가능 거리(possible distance)를 나타낸다. 국제 좌표계는, 예컨대 차량 측방향에 따른 제 1 축, 차량 길이 방향에 따른 제 2 축, 및 차량 높이 방향에 따른 제 3 축을 갖는 차량 좌표계일 수 있다. 따라서, 자동차로부터의 물체의 거리는 특히 오직 캡처된 이미지에 기초하여 결정된다. 그 거리는 특히 직접 측정되지는 않는다. 결과적으로, 카메라는 특히 단순한 디자인을 가질 수 있으며, 예컨대 고가의 비행시간형(time-of-flight) 카메라일 필요는 없다.

제 1 이미지 및 적어도 하나의 제 2 이미지에 기초하여, 물체의 이동 시퀀스, 즉, 물체의 투영이 이미지 좌표로 결정된다. 이미지 좌표들은 여기에서는 예컨대 수평인 제 1 이미지 축과 예컨대 수직인 제 2 이미지 축을 갖는 2차원 이미지 좌표계에서 결정된다. 이동 시퀀스를 이미지 좌표로 결정하는 것은, 여기에서는, 제 1 이미지에서 물체의 이미지 위치, 예컨대 물체의 투영 지점의 이미지 위치를 이미지 좌표로 결정하고, 적어도 하나의 제 2 이미지에서 물체의 이미지 위치, 예컨대 제 2 이미지 내의 물체의 투영 지점의 이미지 위치를 이미지 좌표로 결정하는 그러한 것이다. 두 이미지 사이에서의 물체의 이미지 위치의 변화가 물체의 이동 시퀀스를 제공한다. 물체의 이미지 위치 변화, 즉 기록된 이미지들에서의 물체의 투영의 이동은 자동차가 도로 상을 주행함으로써 얻어진다. 자동차의 주행으로 인해, 이미지에서의 물체의 이미지 위치가 변화하고, 그에 따라 적어도 두 개의 이미지 사이에서 물체의 이미지 좌표가 변화한다. 이미지 좌표로 된 캡처된 물체의 이동 시퀀스는 여기에서는 이미지 좌표로 된 물체의 투영의 순시 이동 시퀀스(instantaneous movement sequence) 또는 실제 이동 시퀀스에 대응한다. 2개의 연속적으로 기록된 이미지들 사이의 시간 주기는 예컨대 50㎳ 내지 80㎳, 특히 60㎳일 수 있다. 따라서, 물체의 이미지 위치는 예컨대 매 60㎳마다 결정될 수 있다.

또한, 이제 정지 물체를 특징짓는 제 1 이동 시퀀스가 이미지 좌표로 결정된다. 특징 규정용 제 1 이동 시퀀스는 여기에서는, 물체가 정지 물체인 경우에 물체의 투영이 추정된 제 1 위치에서 갖는 사전결정된 제 1 이동 시퀀스에 대응한다. 특징 규정용 제 1 이동 시퀀스를 결정하기 위해서, 예컨대 추정된 제 1 위치에서의 특정 정지 기준 물체의 이미지 위치들이 적어도 2개의 이미지에 대해 결정될 수 있다. 캡처된 물체의 이동 시퀀스 및 특징 규정용 제 1 이동 시퀀스는 각각 하나의 궤적으로서 결정될 수 있으며, 예컨대 캡처된 이미지들 중 하나에 표현될 수 있다.

물체를 정지 물체로서 식별하기 위해서, 순시 이동 시퀀스 및 사전결정된 제 1 이동 시퀀스가 그 후에 비교될 수 있다. 이를 위해, 예컨대 궤적들 사이의 거리가 이미지 내에서 결정될 수 있다. 예컨대 순시 이동 시퀀스가 사전결정된 제 1 이동 시퀀스와 일치하는 경우, 또는 순시 이동 시퀀스가 많아야 특정 임계값만큼만 사전결정된 제 1 이동 시퀀스로부터 벗어나 있는 경우, 캡처된 물체는 정지 물체로서 식별될 수 있다. 그러나, 순시 이동 시퀀스가 사전결정된 제 1 이동 시퀀스로부터 특정 임계값보다 더 많이 벗어난 경우, 캡처된 물체는 동적인 물체로서 식별된다.

그러므로, 본 발명에 따른 방법은 주변 영역 내의 물체를 주변 영역의 캡처된 이미지로부터 아주 간단한 방법으로 분류 또는 식별하는 데 사용될 수 있다.

또한, 자동차에 대한 주변 영역 내 물체의 제 2 위치가 바람직하게는 적어도 하나의 캡처된 제 1 이미지에 기초하여 추정되고, 주변 영역에서의 추정된 제 2 위치로부터, 정지 물체를 특징짓는 제 2 이동 시퀀스가 이미지 좌표로 결정되고, 캡처된 물체는 캡처된 물체의 이동 시퀀스와 특징 규정용 제 2 이동 시퀀스와의 비교에 기초하여 식별된다. 환언하면, 자동차로부터 물체까지의 제 1 가능 거리에 추가하여, 자동차로부터 물체까지의 제 2 가능 거리가 추정된다. 제 2 거리도 또한 국제 좌표계에서 결정된다.

본 발명은 여기에서는 캡처 장치에 의해 2차원으로 캡처되었지만 특히 카메라 축선을 따라 달라질 수 있는 이미지에 기초해서는 물체의 거리를 정밀하게 결정할 수 없다는 발견에 기초한 것이다. 그러므로, 자동차로부터 물체까지의 2개의 그럴듯한 가능 거리가 추정된다. 그 결과, 제 1 위치의 기준 물체에 대해 국제 좌표계에서 결정되는, 이미지 좌표의 특징 규정용 제 1 이동 시퀀스에 추가하여, 이미지 좌표의 특징 규정용 제 2 이동 시퀀스가 제 2 위치의 기준 물체에 대해 국제 좌표계에서 결정될 수 있다. 특징 규정용 제 2 이동 시퀀스는 여기에서는, 물체가 정지 물체인 경우에 물체가 추정된 제 2 위치에서 갖는 사전결정된 제 2 이동 시퀀스에 대응한다. 특징 규정용 제 2 이동 시퀀스는 마찬가지로 궤적으로서 결정될 수 있으며, 캡처된 이미지에 표현될 수 있다. 또한, 순시 이동 시퀀스가 사전결정된 제 2 이동 시퀀스와 비교된다. 그 후, 캡처된 물체는, 순시 이동 시퀀스가 사전결정된 제 2 이동 시퀀스와 일치하거나, 또는 사전결정된 제 2 이동 시퀀스로부터 많아야 추가의 특정 임계값만큼만 벗어나 있는 경우에 정지 상태인 것으로 식별될 수 있다. 사전결정된 제 2 이동 시퀀스를 결정함으로써, 그리고 순시 이동 시퀀스와 2개의 사전결정된 이동 시퀀스와의 비교로 인해, 캡처된 물체가 정지 물체로서 특히 확실하게 분류 및 식별될 수 있다.

특히 바람직하게는, 캡처된 물체는, 캡처된 물체의 이동 시퀀스가 특징 규정용의 제 1 및 제 2 이동 시퀀스에 의해 형성되는 회랑형 구역(corridor) 내에 있는 경우에 정지 물체로서 식별된다. 환언하면, 이미지 좌표로 된 제 1 및 제 2 이동 시퀀스는, 캡처된 물체가 정지 물체인 경우 캡처된 물체가 그 안에서 움직이는 이동 영역인 회랑형 구역을 형성한다. 여기에서는 회랑형 구역이 공차 영역만큼 확장될 수도 있으며, 그 결과, 캡처된 물체는, 캡처된 물체의 이동 시퀀스가 회랑형 구역을 벗어났지만 공차 영역 내인 경우에도 정지 물체로서 식별된다. 모든 이동 시퀀스를 하나의 이미지 내에 궤적으로서 표현함으로써, 캡처된 물체의 궤적이 회랑형 구역 내에 속하는지 여부를 특히 간단한 방식으로 결정할 수 있다.

정지 물체의 특성인 제 1 높이가 캡처된 물체에 대해 특정되고, 자동차에 대한 주변 영역에서의 제 1 위치가 적어도 하나의 제 1 이미지 및 물체에 대해 특정된 제 1 높이에 기초하여 결정되고, 정지 물체의 특성인 제 2 높이가 캡처된 물체에 대해 특정되고, 자동차에 대한 주변 영역에서의 제 2 위치가 적어도 하나의 제 2 이미지 및 물체에 대해 특정된 제 2 높이에 기초하여 결정되는 것이 바람직함이 증명되었다. 그리고, 2차원 이미지들에 기초하여 국제 좌표계에서의 물체의 위치를 그럴듯하게 추정하기 위해서, 물체에 대한 2개의 서로 다른 그럴듯한 높이가 특정된다. 제 1 높이는 여기에서는 예컨대 사전결정된 정지 기준 물체가 가질 수 있는 최대 높이에 대응하며, 제 2 높이는 사전결정된 정지 기준 물체가 가질 수 있는 최소 높이에 대응한다. 최소 높이와 최대 높이는 예컨대 이미지 처리 장치를 위해서 저장될 수 있으며, 그 결과, 국제 좌표계에서의 물체의 위치는 저장된 높이를 이용해서 적어도 하나의 캡처된 제 1 이미지에 기초하여 간단하고 신속하게 결정될 수 있다. 결과적으로, 자동차로부터 물체까지의 거리는 특히 그 거리를 직접 측정할 필요 없이 그럴듯하게 그리고 신속하게 결정될 수 있다. 따라서, 거리 측정을 위해 별도의 센서 장치를 추가하거나 및/또는 카메라를 비행시간형 카메라로 구성하거나 할 필요가 없다.

특징 규정용 이동 시퀀스를 결정하기 위해서, 차량 속도 및/또는 차량 높이 축을 중심으로 한 자동차의 각속도를 포착할 수도 있다. 차량 속도 및/또는 각속도에 기초해서는, 국제 좌표계에서의 정지 물체인 경우, 이미지가 캡처되는 각 시점에 대한 추정된 제 1 위치 및 추정된 제 2 위치로부터 물체의 위치, 즉 예컨대 자동차에 대한 주변 영역 내 기준 물체의 위치를 결정할 수 있고, 이를 그 시점에 캡처된 이미지 내에서의 대응하는 이미지 좌표의 이미지 위치로 변환할 수 있다. 결과적으로, 각각의 이미지에 대해 기준 물체의 이미지 위치를 결정할 수 있고, 그에 따라 캡처된 물체가 정지 물체인 경우 이미지에서 캡처된 물체가 갖는 사전결정된 이미지 위치를 결정할 수 있다. 2개의 이미지 사이에서의 사전결정된 이미지 위치들의 변화는 사전결정된 이동 시퀀스, 즉 정지 물체를 특징짓는 이동 시퀀스를 제공한다.

또한, 자동차가 평평한 도로 위를 주행한다는 가정하에서 특징 규정용 이동 시퀀스가 결정된다. 평평한 도로는 여기에서는 돌출부도 포트홀도 갖는 않는 도로이다. 이는 자동차가 주행 중에 피치 운동, 즉 차량 측방향 축을 중심으로 한 회전 운동을 하지 않는 것으로 가정된 것을 의미한다. 환언하면, 자동차의 피치각은 주행 중에 변화가 없다. 그 결과, 특징 규정용 이동 시퀀스는 자동차의 피치각을 측정하는 노력을 기울일 필요 없이도 결정될 수 있다.

일 실시예에 따르면, 캡처된 물체의 이동 시퀀스와 특징 규정용 이동 시퀀스와의 비교 중에는 오직 사전결정된 방향의 이미지 좌표만이 비교된다. 바람직하게는, 오직 수평 방향의 이미지 좌표들이 서로 비교된다. 본 발명은 여기에서는, 캡처된 물체가 정지 물체인 경우에도, 자동차가 돌출부를 갖는 울퉁불퉁한 도로를 주행한다면, 캡처된 물체의 수직 이미지 좌표들이 특징 규정용 이동 시퀀스의 수직 이미지 좌표와 상당한 차이를 보일 수도 있다는 발견에 기초한다. 울퉁불퉁한 도로로 인해, 자동차가 주행 중에 피치 운동을 하게 되고, 그에 따라 캡처된 물체가 이미지에서 수직 방향으로 이동하는 것처럼 보인다. 이미지 좌표에서의 캡처된 물체의 이러한 분명한 수직 운동은 물체의 투영의 이미지 좌표에 기초하여 결정된 캡처된 물체의 이동 시퀀스가 2개의 특징 규정용 이동 시퀀스에 의해 형성되는 회랑형 구역 바깥에 위치하는 결과를 초래할 수 있다. 특징 규정용 이동 시퀀스들은, 특히 자동차가 돌출부를 갖지 않는 평평한 도로를 따라 이동한다는 가정하에서 구체적으로 결정된다. 이는 정지 물체의 분명한 수직 운동이 특징 규정용 이동 시퀀스에 반영되지 않음을 의미한다. 이러한 이유로, 캡처된 물체의 이동 시퀀스가 회랑형 구역 내에 있는지를 검사하는 중에는, 오직 수평 방향의 이미지 좌표만을 고려한다. 수직 방향의 이미지 좌표들은 고려되지 않는다. 그 결과, 자동차가 예컨대 포트홀로 인해 피치 운동을 하는 도로인 경우에도 별도로 피치각을 포착할 필요 없이 물체를 확실하게 정지 물체로서 식별할 수 있다.

본 발명의 전개에 있어서, 캡처된 물체의 위치는 현시점에 캡처된 제 1 이미지에 기초하여 추정되고, 캡처된 물체의 이동 시퀀스는 현시점보다 앞선 시점에 캡처된 적어도 하나의 제 2 이미지에 기초하여 결정된다. 이는 국제 좌표계에서의 물체의 현재 위치가 추정되고 그 현재 위치로부터, 캡처된 물체의 이미 실행된 이동이 결정됨을 의미한다. 환언하면, 캡처된 물체의 이동 시퀀스는 과거로 거슬러 올라가(retrospectively), 즉 기록된 이미지 좌표들의 이력에 기초하여 결정된다. 특징 규정용 이동 시퀀스도 또한 이에 의해 과거로 거슬러 올라가 결정되는데, 여기서의 이동은 캡처된 물체가 정지 물체였다면 실행되었을 이동이다. 그 결과, 물체는 특히 신속하게 정지 물체로서 또는 동적인 물체로서 분류될 수 있다.

정지 상태의 광 반사형 물체, 특히 반사식 도로 경계 표시 기둥(delineator post) 또는 도로 표지판으로서의 물체는 바람직하게는 사전결정된 물체로서 식별된다. 광 반사형 물체는 여기에서는 빛을 반사하는 능동 요소를 구비한 물체를 의미하는 것으로 여겨진다. 그러한 요소는, 예컨대 캣츠 아이(cat's-eye)와 같이 빛을 반사시키는 반사기일 수 있다. 그러한 물체는 대체로 자동차의 주행 도로의 측면에 위치되며 특히 어둡거나 밤이거나 시야가 확보되지 않을 때에 자동차의 운전자를 위해 방향 설정을 용이하게 하는 반사식 도로 경계 표시 기둥 또는 반사기 기둥일 수 있다. 그러한 물체는 가시성을 향상시키기 위해 빛을 능동적으로(actively) 반사하는 도로 표지판일 수도 있다. 빛을 능동적으로 반사하는 물체로 인해, 예컨대 도로를 조명하기 위해 자동차의 헤드라이트에 의해 방출된 빛은 지향성을 가지고(in a directional manner) 또는 규정된 방식으로 물체에 의해 다시 자동차로 반사되며, 따라서, 특히 밤에 이미지 처리 장치에 의해, 빛을 방출하는 다가오는 차량으로 잘못 탐지될 수 있다. 물체를 정지 물체 또는 동적인 물체로서 식별할 수 있는 본 발명에 따른 방법을 사용하면, 그러한 혼란을 방지할 수 있는 장점이 있다.

여기에서, 적어도 하나의 캡처된 제 1 이미지 및/또는 제 2 이미지에 기초하여, 캡처된 물체가 지향성을 가지고 또는 규정된 방식으로 자동차의 방향으로 빛을 방출하는 것이 탐지된 경우, 그리고 캡처된 광 방출 물체의 이동 시퀀스와 정지 물체의 특징인 이동 시퀀스와의 비교에 기초하여, 캡처된 물체가 정지 물체인 것이 탐지된 경우에는, 물체를 정지된 광 반사형 물체, 특히 반사식 도로 경계 표시 기둥 및/또는 도로 표지판으로서 식별할 수 있다. 환언하면, 물체가 지향성을 가지고 자동차의 방향으로 빛을 방출하는지 여부는 예컨대 탐지된 제 1 이미지에 기초하여 결정된다. 또한, 이 이미지에 기초하여 물체의 위치를 추정할 수도 있다. 그 후, 캡처된 광 방출 물체의 이동 시퀀스가 결정될 수 있으며, 특징 규정용 이동 시퀀스와의 비교에 기초하여 물체가 정지 상태인 것으로 식별될 수 있다.

바람직하게는, 물체가 빛을 능동적으로 반사하는 정지 물체인 것으로 식별된 경우, 자동차의 도로를 조명하기 위한 자동차의 헤드라이트에 의해 방출되는 빛을 조절하는 것은 차단된다. 환언하면, 캡처된 물체가 다가오는 차량이 아니며 예컨대 반사식 도로 경계 표시 기둥 또는 도로 표지판인 것이 확인된 경우에는, 예컨대 빛을 어둡게 하는 등의 자동 하이빔 조절이 실행되지 않는다. 따라서, 자동 하이빔 조절이 불필요하게 실행되는 것을 방지할 수 있다.

본 발명은 또한 자동차의 주변 영역 내의 물체를 정지 물체로서 식별하기 위한, 예컨대 하이빔 조절용의 운전자 보조 시스템에 관한 것이다. 운전자 보조 시스템은, 주변 영역을 이미지로 캡처하는, 예컨대 카메라와 같은 차량측 캡처 장치, 및 적어도 하나의 캡처된 이미지 내에서 물체를 인식하는 이미지 처리 장치를 포함한다. 나아가, 이미지 처리 장치는, 적어도 하나의 캡처된 제 1 이미지에 기초하여 자동차에 대한 주변 영역 내의 물체의 제 1 위치를 추정하고, 제 1 이미지 및 적어도 하나의 캡처된 제 2 이미지에 기초하여 물체의 이동 시퀀스를 이미지 좌표로 결정하고, 주변 영역에서의 추정된 제 1 위치로부터, 정지 물체를 특징짓는 제 1 이동 시퀀스를 이미지 좌표로 결정하고, 캡처된 물체의 이동 시퀀스와 특징 규정용 제 1 이동 시퀀스와의 비교에 기초하여 캡처된 물체를 정지 물체로서 식별하도록 구성된다.

본 발명에 따른 자동차는 본 발명에 따른 운전자 보조 시스템을 포함한다. 자동차는 특히 승용차로서 구성된다. 운전자 보조 시스템은 여기에서는 예컨대 자동차의 헤드라이트를 제어하여, 헤드라이트에 의해 방출되는 빛을 조절할 수 있다.

본 발명에 따른 방법에 관하여 소개된 바람직한 실시예들 및 이들의 장점은 본 발명에 따른 운전자 보조 시스템과 본 발명에 따른 자동차에도 적절히 적용된다.

"상부", "바닥", "전방", "후방", "수평"(a-방향), "수직"(b-방향) 등의 용어는 캡처된 이미지의 적절한 관측에 기초한 위치들 및 방향들을 표시한다. "내부", "외부", "측방", "우측", "좌측", "상부", "바닥", "차량 높이 축"(z-방향), "차량 길이 방향 축"(y-방향), "차량 측방향 축"(x-방향) 등의 용어는 자동차의 전방에 서서 차량 길이 방향 축의 방향으로 바라보는 관찰자에 기초한 위치들 및 방향들을 표시한다.

본 발명의 추가 특징들은 청구범위, 도면, 및 도면에 관련된 설명으로부터 알 수 있다. 발명의 설명에서 이미 언급한 특징들 및 특징의 조합들, 그리고 도면에 관련된 설명에서 이제 언급할 및/또는 도면에만 도시된 특징들 및 특징의 조합들은 각 예에서 표시된 조합으로뿐만 아니라, 본 발명의 범위를 벗어나지 않는 범위에서 다른 조합으로 또는 단독으로 사용될 수 있다. 따라서, 도면에 명시적으로 도시 및 설명되어 있지 않지만 설명된 구성으로부터 개별적인 특징 조합들을 통해 추측 및 실현될 수 있는 본 발명의 구성들도 포함되고 개시된 것으로 간주되어야만 한다. 결과적으로, 원래의 문언으로 독립청구항의 모든 특징들을 구비하지는 않은 구성들 및 특징 조합들도 개시되는 것으로 간주되어야만 한다.

도 1은 본 발명에 따른 자동차의 일 실시예의 개략도,
도 2a 내지 도 2c는 차량측 캡처 장치에 의해 기록된 이미지들의 개략도,
도 3은 캡처된 물체의 위치를 결정하기 위한 실시예의 개략도.

이하에서는, 바람직한 예시적 실시예를 기준으로 첨부 도면을 참조하여 본 발명을 보다 상세하게 설명할 것이다.

동일한 요소들 및 동일한 기능을 갖는 요소들은 도면들에 있어서 동일한 도면부호로 표시된다.

도 1은 운전자 보조 시스템(2)을 구비한 자동차(1)를 도시한다. 운전자 보조 시스템(2)은 적어도 하나의 카메라를 포함할 수 있는 차량측 캡처 장치(3)를 포함한다. 캡처 장치(3)는 자동차(1)의 주변 영역(4)을 2차원 이미지(12, 14)(도 2a 내지 도 2c 참조)로 캡처하는 역할을 한다. 캡처 장치는, 자동차(1)가 도로(9) 상에서 주행할 때에 특히 자동차(1)의 주행 방향(y-방향)으로의 자동차(1)의 전방 및 측전방에 위치된 주변 영역(4)의 이미지(12, 14)를 캡처한다.

운전자 보조 시스템(2)은, 캡처 장치(3)에 의해 캡처된 주변 영역(4)의 이미지(12, 14)를 처리하고 예컨대 캡처된 이미지(12, 14)로부터 정보를 추출하도록 구성된 이미지 처리 장치(5)를 추가로 포함한다. 특히 하이빔을 조절하는 역할을 하는 운전자 보조 시스템(2)은 이미지(12, 14)로부터 추출된 정보에 기초하여 자동차(1)의 헤드라이트(11)를 제어하여, 헤드라이트(11)에 의해 방출되는 빛을 조절하거나 또는 그에 영향을 미칠 수 있다. 또한, 운전자 보조 시스템(2)은 도로(9)에서 주행 중인 자동차(1)의 속도를 포착하는 속도 센서(6)와, 자동차(1)의 차량 높이 축(z-방향)을 중심으로 한 자동차(1)의 각속도를 포착하는 각속도 센서(7)를 구비할 수 있다.

이미지 처리 장치(5)는 캡처 장치(3)에 의해 캡처된 적어도 하나의 이미지(12, 14)에서 물체(8)를 인식하도록 구성된다. 물체(8)는 주변 영역(4)에서 자동차(1)에 대한 위치, P(x, y, z)를 갖는다. 위치(P)는 여기에서는 차량 좌표계로서 정의되는 국제 좌표계(x, y, z)에서의 위치이다. 국제 좌표계의 x축은 여기에서는 차량 측방향을 따라 연장되고, y축은 차량 길이 방향을 따라 연장되며, z축은 차량 높이 방향을 따라 연장된다.

이미지 처리 장치(5)는 물체(8)를 분류하도록, 즉 물체(8)가 주변 영역(4)에서 위치적으로 고정되어 있는 정지 물체인지 아니면 동적인 물체인지를 식별하도록 구성되어 있다. 캡처된 물체(8)가 예컨대 다가오는 차량 형태의 동적인 물체라면, 운전자 보조 시스템(2)의 제어 장치(10)는 예컨대 자동차(1)의 헤드라이트(11)를 제어하여 헤드라이트(11)에 의해 방출되는 빛을 어둡게 함으로써 다가오는 차량의 운전자의 눈부심을 방지할 수 있다. 그러나, 물체(8)가 예컨대 반사식 도로 경계 표시 기둥(13) 또는 도로 표지판 형태의 정지 물체인 것을 이미지 처리 장치(5)가 탐지한 경우에는, 헤드라이트(11)에 의해 방출되는 빛을 위와 같은 방식으로 조절하는 것은 차단되어야만 한다.

물체(8)를 정지 물체로서, 특히 반사식 도로 경계 표시 기둥(13)으로서 식별하는 것에 대해서는 도 2a 내지 도 2c를 참조하여 설명할 것이다. 도 2a는 캡처 장치(3)에 의해 제 1 시점에 기록된 주변 영역(4)의 이미지(12)를 도시한다. 제 1 이미지(12)는 제 1 시점, 구체적으로는 현재에서의 주변 영역(4)의 2차원 투영으로서의 주변 영역(4'), 도로(9)의 2차원 투영으로서의 도로(9'), 및 물체(8)의 2차원 투영으로서의 물체(8')를 나타낸다. 물체(8')의 이미지 위치(P')는 2차원적인 이미지 좌표계의 이미지 좌표(a, b)를 이용하여 표시된다. 물체(8')는 이미지(12)에서 제 1 이미지 위치(P'(a1, b1))를 갖는다. 2차원적인 제 1 이미지(12)에 기초하여, 자동차(1)에 대한 실제 물체(8)의 제 1 위치(P1(x1, y1, z1)), 즉 자동차(1)로부터 물체(8)까지의 제 1 가능 거리와, 자동차(1)에 대한 실제 물체(8)의 제 2 위치(P2(x2, y2, z2)), 즉 자동차(1)로부터 물체(8)까지의 제 2 가능 거리가 추정된다. 제 1 위치(P1)와 제 2 위치(P2)는 여기에서는 국제 좌표계(x, y, z)에서 결정된다.

제 1 위치(P1)를 결정하기 위해서, 물체(8)에 대한 최대의 제 1 높이(h1)가 도 3에 도시된 바와 같이 특정 또는 추정된다. 제 2 위치(P2)를 결정하기 위해서, 물체(8)에 대한 최소의 제 2 높이(h2)가 추정된다. 그리고, 실제 물체(8)의 가능 위치(P1, P2)가 이미지(12) 및 높이(h1, h2)에 기초하여 결정될 수 있다. 물체(8)의 실제 위치(P(x, y, z))는 여기에서는 2개의 위치(P1, P2) 사이에서 카메라 축선(20)을 따라 위치된다. 높이(h1, h2)는 여기에서는 예컨대 반사식 도로 경계 표시 기둥(13)의 통상적인 최대 규정 높이 및 통상적인 최소 규정 높이일 수 있다.

캡처된 물체(8)를 정지 물체로서 식별하기 위해서, 먼저 물체(8', 8")의 이동 시퀀스(15)(도 2c 참조), 즉 캡처된 물체(8)의 투영의 이동 시퀀스(15)가 이미지 좌표(a, b)로 결정된다. 이를 위해, 예컨대 제 1 이미지(12)에서의 물체(8')의 이미지 위치(P')와, 제 2 시점에 기록된 제 2 이미지(14)에서의 물체(8")의 이미지 위치(P"(a2, b2))가 결정될 수 있다. 제 2 이미지(14)는 제 2 시점에서의 주변 영역(4)의 2차원 투영으로서의 주변 영역(4"), 도로(9)의 2차원 투영으로서의 도로(9"), 및 물체(8)의 2차원 투영으로서의 물체(8")를 나타낸다. 제 2 시점은 여기에서는 특히 현재인 제 1 시점보다 먼저 발생한 것이다. 이미지 위치(P', P")의 변화는 이동 시퀀스(15)를 특징짓는 궤적으로서 결정될 수 있으며, 예컨대 제 1 이미지(12) 내에 표현될 수 있다(도 2c 참조).

또한, 추정된 제 1 위치(P1) 및 추정된 제 2 위치(P2)로부터, 정지 물체의 특징인 이동 시퀀스(16, 17)가 이미지 좌표(a, b)로 결정된다. 특징 규정용 제 1 이동 시퀀스(16)는 여기에서는 추정된 제 1 위치(P1)에서의 정지 물체의 특징이고, 특징 규정용 제 2 이동 시퀀스(17)는 추정된 제 2 위치(P2)에서의 정지 물체의 특징이다. 특징 규정용 이동 시퀀스(16, 17)는 예컨대 이미지(12, 14)에서의 정지된 기준 물체의 이미지 위치를 이미지 좌표(a, b)로 결정함으로써 결정된다. 이를 위해, 제 1 이미지(12)에서의 정지된 기준 물체의 이미지 위치들을 위해, 제 1 위치(P1) 및 제 2 위치(P2)가 이미지 좌표(a, b)로 변환된다. 제 2 이미지(14)에서의 정지된 기준 물체의 이미지 위치를 결정하기 위해, 국제 좌표계(x, y, z)에서의 정지된 기준 물체의 추가 제 1 위치와, 기준 물체가 제 2 시점에서 갖는 국제 좌표계(x, y, z)에서의 정지된 기준 물체의 추가 제 2 위치가 이미지 좌표(a, b)로 변환된다. 추가 제 1 위치 및 추가 제 2 위치는, 예컨대 속도 센서(6) 및/또는 각속도 센서(7)를 사용하여 포착되는 자동차(1)의 속도 및/또는 각속도에 기초하여 결정될 수 있다. 또한, 특정 규정용 이동 시퀀스(16, 17)는, 자동차(1)가 주행하는 도로(9)가 예컨대 평평하며 포트홀 또는 돌출부를 갖지 않는다는 가정하에서 결정된다. 제 1 이미지(12)에서 마찬가지로 궤적으로서 표현될 수 있는 이동 시퀀스(16, 17)(도 2c 참조)는 회랑형 구역(18)을 형성한다. 그리고, 캡처된 물체(8', 8")의 이동 시퀀스(15)가 회랑형 구역(18) 내에 속하는 경우 캡처된 물체(8)는 정지 물체로서 식별된다.

도 2c는 이동 시퀀스(15)의 수평 좌표(a)가 회랑형 구역(18) 내에 위치하지만, 이동 시퀀스(15)의 수직 좌표(b)는 그렇지 않은 것을 나타낸다. 이동 시퀀스(15)는 여기에서는 자동차가 돌출부를 갖는 도로(9)를 주행할 때의 자동차(1)에 대한 물체(8', 8")의 이동 시퀀스를 나타낸다. 이들 돌출부로 인해, 자동차(1)는 차량 측방향 축을 중심으로 한 피치 운동, 즉 z축에 따른 피치 운동을 실행한다. 상기 피치 운동으로 인해, 물체(8', 8")는 이미지 좌표(a, b)에서 높이 방향(b-방향)으로 이동하는 것처럼 보인다. 그러한 피치 운동에도 불구하고 피치 운동을 포착해야 하는 일 없이 캡처된 물체(8)를 정지 물체로서 식별할 수 있기 위해서, 이동 시퀀스(15)가 회랑형 구역(18) 내에 속하는지 여부에 대한 검사를 하는 동안에 오직 수평의 이미지 좌표(a)만을 고려한다. 수직의 이미지 좌표(b)는 고려되지 않는다.

이동 시퀀스(15)와 특징 규정용 이동 시퀀스(16, 17)와의 비교에 기초하여, 캡처된 물체(8)가 정지 물체로서 식별될 수 있다. 물체(8)를 반사식 도로 경계 표시 기둥(13)으로서 식별하기 위해서, 또한 물체(8)가 자동차(1)의 방향으로 빛을 능동적으로 반사시키는지 여부를 검사할 수 있다. 빛을 능동적으로 반사시키기 위해서, 반사식 도로 경계 표시 기둥(13)은 반사기(19)를 구비한다. 이미지 처리 장치(5)는, 예컨대 제 1 이미지(12)에 기초하여, 물체(8', 8")가 자동차(1)의 방향으로 빛을 방출하는 것을 탐지할 수 있다. 마지막으로, 이미지 처리 장치(5)는 물체(8)를 이동 시퀀스(15, 16, 17)에 기초하여 정지 물체로서 캡처하고, 그에 따라 물체(8)를 반사식 도로 경계 표시 기둥(13)으로서 정확하게 식별할 수 있다. 일단 물체(8)가 반사식 도로 경계 표시 기둥(13)으로서 식별되었다면, 제어 장치(10)는, 헤드라이트(11)가 하이빔을 조절하도록 불필요하게 제어되는 것을 방지할 수 있다.

Claims (14)

1. 자동차(1)의 주변 영역(4) 내의 물체(8)를 정지 물체로서 식별하기 위한 방법으로서, 상기 방법에서는, 차량측 캡처 장치(3)를 사용하여 주변 영역(4)을 이미지(12, 14)로 캡처하고, 이미지 처리 장치(5)를 사용하여 적어도 하나의 캡처된 이미지(12, 14) 내에서 물체(8)를 탐지하는, 자동차 주변 영역 내 물체의 식별 방법에 있어서,
   상기 자동차(1)에 대한 주변 영역(4) 내의 물체(8)의 제 1 위치(P1)는 적어도 하나의 캡처된 제 1 이미지(12)에 기초하여 추정되고, 물체(8', 8")의 이동 시퀀스(movement sequence)(15)가 상기 제 1 이미지(12) 및 적어도 하나의 캡처된 제 2 이미지(14)에 기초하여 이미지 좌표(a, b)로 결정되고, 제 1 정지 물체를 특징짓는 제 1 이동 시퀀스(16)가 주변 영역(4)에서의 추정된 제 1 위치(P1)로부터 이미지 좌표(a, b)로 결정되고, 캡처된 물체(8)는 캡처된 물체(8', 8")의 이동 시퀀스(15)와 특징 규정용 제 1 이동 시퀀스(16)와의 비교에 기초하여 정지 물체로서 식별되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
2. 제 1 항에 있어서,
   상기 자동차(1)에 대한 주변 영역(4) 내의 물체(8)의 제 2 위치(P2)가 적어도 하나의 제 1 이미지(12)에 기초하여 추가로 추정되고, 정지 물체를 특징짓는 제 2 이동 시퀀스(17)가 주변 영역(4)에서의 추정된 제 2 위치(P2)로부터 이미지 좌표(a, b)로 결정되고, 캡처된 물체(8)는 캡처된 물체(8', 8")의 이동 시퀀스(15)와 특징 규정용 제 2 이동 시퀀스(17)와의 비교에 기초하여 식별되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
3. 제 2 항에 있어서,
   상기 캡처된 물체(8)는, 캡처된 물체(8', 8")의 이동 시퀀스(15)가 특징 규정용 제 1 및 제 2 이동 시퀀스(16, 17)에 의해 형성되는 회랑형 구역(corridor)(18) 내에 속하는 경우에 정지 물체로서 식별되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
4. 제 2 항 또는 제 3 항에 있어서,
   상기 정지 물체의 특징인 제 1 높이(h1)가 상기 캡처된 물체(8)에 대해서 특정되고, 상기 주변 영역(4)에서의 제 1 위치(P1)는 적어도 하나의 제 1 이미지(12) 및 상기 물체(8)에 대해 특정된 제 1 높이(h1)에 기초하여 결정되고, 상기 정지 물체의 특징인 제 2 높이(h2)가 상기 캡처된 물체(8)에 대해 특정되고, 상기 주변 영역(4)에서의 제 2 위치(P2)는 적어도 하나의 제 1 이미지(12) 및 상기 물체(8)에 특정된 제 2 높이(h2)에 기초하여 결정되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   특징 규정용 이동 시퀀스(16, 17)를 결정하기 위해, 차량 속도 및/또는 차량 높이 축을 중심으로 한 자동차(1)의 각속도가 포착되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   특정 규정용의 이동 시퀀스(16, 17)는 자동차(1)가 평평한 도로(9)를 주행한다는 가정하에서 결정되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   캡처된 물체(8', 8")의 이동 시퀀스(15)를 특징 규정용 이동 시퀀스(16, 17)에 비교하는 경우, 오직 사전결정된(predetermined) 방향의 이미지 좌표(a, b)만이 비교되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
8. 제 7 항에 있어서,
   캡처된 물체(8', 8")의 이동 시퀀스(15)를 특징 규정용 이동 시퀀스(16, 17)에 비교할 때의 이미지 좌표(a, b)로서, 오직 사전결정된 방향의 수평 이미지 좌표(a)만이 비교되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 캡처된 물체(8)의 위치(P1, P2)는 현재 시점에 캡처된 제 1 이미지(12)에 기초하여 추정되고, 캡처된 물체(8', 8")의 이동 시퀀스(15)는 현재 시점보다 먼저 발생한 시점에 캡처된 적어도 하나의 제 2 이미지(14)에 기초하여 결정되는 것을 특징으로 하는
   자동차 주변 영역 내 물체의 식별 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    정지 상태의 광 반사형 물체로서, 특히 반사식 도로 경계 표시 기둥(13) 및/또는 도로 표지판으로서의 상기 물체(8)가 정지 물체로서 식별되는 것을 특징으로 하는
    자동차 주변 영역 내 물체의 식별 방법.
11. 제 10 항에 있어서,
    적어도 하나의 캡처된 제 1 이미지(12)에 기초하여, 상기 캡처된 물체(8)가 지향성을 가지고(in a directional manner) 자동차(1)의 방향으로 빛을 방출하는 것이 탐지되고, 캡처된 광 방출 물체(8', 8")의 이동 시퀀스(15)와 정지 물체를 특징짓는 이동 시퀀스(16, 17)와의 비교에 기초하여, 캡처된 물체(8)가 정지 상태임이 탐지된 경우에, 상기 캡처된 물체(8)가 정지 상태의 광 반사형 물체로서, 특히 반사식 도로 경계 표시 기둥(13) 및/또는 도로 표지판으로서 식별되는 것을 특징으로 하는
    자동차 주변 영역 내 물체의 식별 방법.
12. 제 10 항 또는 제 11 항에 있어서,
    상기 물체(8)가 정지 상태의 광 반사형 물체로서 식별된 경우, 자동차(1)의 도로(9)를 조명하기 위한 자동차(1)의 헤드라이트(11)에 의해 방출되는 빛의 조절이 차단되는 것을 특징으로 하는
    자동차 주변 영역 내 물체의 식별 방법.
13. 자동차(1)의 주변 영역(4) 내의 물체(8)를 정지 물체로서 식별하기 위한, 특히 하이빔 조절용의 운전자 보조 시스템(2)으로서, 주변 영역(4)을 이미지(12, 14)로 캡처하는 차량측 캡처 장치(3), 및 적어도 하나의 캡처된 이미지(12, 14) 내에서 물체(8)를 인식하는 이미지 처리 장치(5)를 구비하는, 운전자 보조 시스템(2)에 있어서,
    상기 이미지 처리 장치(5)는, 적어도 하나의 제 1 이미지(12)에 기초하여 자동차(1)에 대한 주변 영역(4) 내의 물체(8)의 제 1 위치(P1)를 추정하고, 상기 제 1 이미지(12) 및 적어도 하나의 캡처된 제 2 이미지(14)에 기초하여 물체(8', 8")의 이동 시퀀스(15)를 이미지 좌표(a, b)로 결정하고, 주변 영역(4)에서의 추정된 제 1 위치(P1)로부터, 정지 물체를 특징짓는 제 1 이동 시퀀스(16)를 이미지 좌표(a, b)로 결정하고, 캡처된 물체(8', 8")의 이동 시퀀스(15)와 특징 규정용 제 1 이동 시퀀스(16)와의 비교에 기초하여 캡처된 물체(8)를 정지 물체로서 식별하도록 구성되는 것을 특징으로 하는
    운전자 보조 시스템.
14. 자동차(1)로서,
    제 13 항에 따른 운전자 보조 시스템(2)을 구비한
    자동차.

Images