KR101367513B1 - 비디오 이미지 제시 방법 및 시스템 - Google Patents

Abstract

본 발명은 차량 환경으로부터 비디오 이미지를 제시하는 방법에 관한 것으로서, 상기 방법은:

상기 차량 환경의 비디오 이미지를 취하는 단계;

상기 차량 환경 또는 차량의 센서 데이터를 검출하는 단계;

상기 센서 데이터를 처리하는 단계;

상기 비디오 이미지에서 물체를 인식하는 단계;

상기 디스플레이된 비디오 이미지에서 인식된 물체의 표현을 변화시킴으로써 상기 디스플레이된 비디오 이미지에서 상기 처리된 센서 데이터를 시각화하는 단계를 포함한다.

Description

비디오 이미지 제시 방법 및 시스템{METHOD AND SYSTEM FOR PRESENTING VIDEO IMAGES}

본 발명은 차량 환경(vehicle environment)으로부터 비디오 이미지를 제시하는 방법 및 시스템에 관한 것이다. 특히, 본 발명은 차량 내에 제공되는 이미지 센서가 차량 환경으로부터 이미지를 연속적으로 취하는 운전자 보조 시스템(driver assist system)에 관한 것이다.

종래에, 현재의 위치에서 소정의 목적지까지 차량의 운전자를 안내하는 차량 기반 내비게이션 시스템이 알려져 있다. 상기 내비게이션 시스템은 디스플레이 상에 운전 방향을 나타냄으로써 또는 다음의 운전 조작을 지시하는 음성을 출력함으로써 시각적으로 또는 구두로 운전 지시를 출력한다.

또한, 속도 제한 또는 거리 표시와 같은 모조 요소들을 비디오 카메라에 의해 캡처되는 비디오 이미지에 도입하는 운전자 보조 시스템과 함께 사용되는 시스템이 알려져 있다. 상기 요소들은 비디오 이미지 상에서 떠 있는 것처럼 보인다. 상기 도입된 요소들은 실제 상황은 아니며 또는 실제 상황에 단지 느슨하게 결합되 어 있을 뿐이다.

속도 제한이 적용되는 영역에서의 속도 제한과 같이 인위적으로 도입된 이들 요소들은, 차량 환경의 비디오 이미지에 인위적 요소를 도입함으로써 발행된 모호함을 운전자가 이해할 수 있는 경우 주행 중 운전자를 도와줄 수 있다. 운전자는 이러한 데이터의 추상적 시각화에 익숙해져야 한다. 그러나, 이들 예에서, 디스플레이된 이미지들은 운전자가 실제로 차량 전방에서 보는 것과는 다르다.

차량에는 추가적으로 여러 가지 상이한 센서들이 제공되는데, 상기 센서들은 차량 외부의 차량 환경의 물리적 값 또는 차량 속도와 같은 차량의 다른 임의의 물리적 값을 검출한다.

환경에 따라서는, 상기 센서에 의해 검출된 물리적 값들을 운전자가 보다 빠르고 보다 쉽게 인식할 수 있는 방식으로 비디오 이미지에 시각화하는 것이 도움이 될 수 있다.

따라서, 차량에 의해 제공되는 정보를 운전자가 빠르고 쉽게 이해할 수 있도록 해주는 방법 및 시스템을 제공할 필요가 있다.

상기 요구는 독립항의 특징들에 의해 충족된다. 독립항에 있어서, 본 발명의 바람직한 실시예가 설명된다.

본 발명의 제1 양태에 따르면, 차량 환경으로부터의 비디오 이미지를 운전자에게 제시하는 방법이 제공된다. 상기 방법은 차량 환경으로부터 비디오 이미지를 취하는 단계를 포함한다. 또한, 차량 환경 또는 차량 자체의 센서 데이터가 검출되고, 이들 센서 데이터는 처리된다. 또한, 상기 비디오 이미지 중의 물체는 상기 비디오 이미지를 사후 처리(post-processing)함으로써 인식된다. 다음에, 상기 처리된 센서 데이터는, 상기 디스플레이된 비디오 이미지 중의 인식된 물체의 표현을 변화시킴으로써, 상기 디스플레이된 비디오 이미지에서 시각화될 수 있다. 상기 비디오 이미지 중에 실제 있는 물체의 표현을 변화시킴으로써, 상기 센서 데이터의 처리 결과가 직관적인 방식으로 운전자에게 디스플레이될 수 있다. 본 발명에 따르면, 상기 표현이 바뀌어지는 대상인 물체의 인위적이지만 본연의 요소들로 실제 교통 상황의 비디오 이미지를 증대시킬 수 있다. 한편으로, 이는 상기 표현이 변경되는 방식은 사실 주어진 상황에 존재할 수 있다는 것을 의미한다. 다른 한편으 로, 이는 비디오 이미지 중에 표현된 물체는 상기 수신된 센서 데이터와 관련하여 다른 방식으로 표현된다는 것을 의미할 수 있다.

그와 같이 하기 위해, 상기 비디오 이미지 중에 있고 또 윈도우 또는 윈드스크린을 통해 운전자에게 시인 가능한 물체들은 상기 비디오 이미지를 사후 처리함으로써 검출되고 해석되며, 물체 클래스(object classes)로 분류된다. 다른 차량 또는 사람, 또는 차량의 환경에 존재하는 다른 요소와 같은 물체를 검출하기 위하여, 초당 약 20 내지 100 프레임의 프레임 속도로 취해지는 상기 비디오 이미지는 처리되고, 패턴 인식 기술이 상기 이미지에 적용된다. 엣지 검출(edge detection)과 같은 사후 처리 기법을 이용하여 상기 비디오 이미지 중의 소정의 물체를 검출하면, 그 검출된 물체의 형태가 결정되고, 상기 물체는 다른 물체 클래스로 분류될 수 있다. 예컨대, 차량, 빌딩, 모터사이클, 보행자, 나무 등에 대하여 여러 가지 상이한 클래스가 있을 수 있다. 상기 이미지 중의 검출된 형태를 미리 규정된 형태와 비교함으로써, 상기 이미지 중의 물체를 검출할 수 있다.

또한, 상기 검출된 센서 데이터는 처리될 수 있고, 그 센서 데이터 처리 결과는, 상기 이미지 센서에 의해 검출된 대로 비디오 이미지 중에 존재하는 것이 아니라 다른 교통 상황에 있을 수 있는 소정의 요소를 상기 디스플레이된 비디오 이미지 중의 물체에 도입하여, 인식된 물체의 표현을 변화시킴으로써, 상기 이미지 중에 나타내어질 수 있다.

교통 보조 시스템에서, 상기 비디오 이미지는 보통, 운전자가 전방의 윈도우를 통해 볼 때 운전자에게 보여지는 것과 같은 차량 전방의 차량 환경으로부터 취해진다. 따라서, 상기 비디오 이미지는 차량 전방의 차량 환경을 모니터링할 수 있다. 그러나, 본 발명은, 예컨대 비디오 이미지가 주차 보조 시스템에서 사용되는 경우에, 차량의 후방으로부터 취해지는 비디오 이미지와 함께 사용될 수도 있다.

본 발명의 한 가지 실시예에서, 상기 비디오 이미지 중의 물체를 인식하는 단계는 상기 비디오 이미지 중의 차량을 인식하는 단계를 포함한다. 차량의 검출 외에, 상기 비디오 이미지의 사후 처리는 차량에 해로울 수 있는 임의의 다른 물체 또는 운전자의 보다 높은 주의가 필요한 임의의 다른 물체를 검출하는 목적을 가질 수 있다.

본 발명의 한 가지 실시예에 따르면, 센서는 검출 차량에 대한 이미지 중에 표현된 물체의 거리를 결정하는데, 상기 차량으로부터 상기 거리가 결정된다. 또한 또는 상기 상대 거리를 결정하는 것 대신에, 검출 차량 전방에서 이동하는 차량 속도가 결정될 수 있다. 검출 차량 전방에서 이동하는 차량의 상기 검출 차량에 대한 상대 속도가 미리 정해진 문턱값(threshold) 속도보다 낮은 것으로 검출되면(이는, 상기 검출 차량이 전방 차량에 접근한다는 것을 의미한다), 비디오 이미지 중에 역시 표현되는 그 전방의 차량은, 전방 차량의 브레이크등이 활성화된 상태로 표현되는 방식으로 상기 비디오 이미지 상에 디스플레이될 수 있다. 이러한 상황에서, 운전자는, 검출 차량에 대한 상대 거리가 빠르게 더 작아질 수 있음에 따라, 전방 차량에 대한 주의가 기울여져야 한다는 것을 매우 쉽게 인식할 수 있다. 이러한 예로부터 알 수 있는 바와 같이, 전방에서 이동하는 차량이 훨씬 더 느리다는 상기 센서 데이터에 의해 제공되는 정보는 상기 비디오 이미지 중에 실제 제공되는 본연의 요소들의 표현을 변화시킴으로써 시각화될 수 있다. 활성화된 상태의 상기 브레이크등은 장면에서는 실제로 있을 수 있지만, 현재 그 브레이크등은 활성화되어 있지 않고, 전방 차량은 단순히 검출 차량보다 더 느리게 이동하고 있다. 이러한 정보가 사용자에게 디스플레이될 수 있다.

차량이 교통 정체 지역에 접근하는 경우 유사한 상황이 발생할 수 있다. 이러한 상황에서, 상기 차량에 제공된 거리 센서는 상기 차량에 대한 상대 거리가 점점 더 작아진다는 것을 인식할 수 있다. 다음에, 본 발명의 시스템은, 차량이 실제로는 그 경고등을 끈 상태로 있을지라도, 비디오 이미지 중에 표현된 차량의 경고등이 디스플레이될 수 있는 방식으로 반응할 수 있다. 이러한 상황에서, 운전자는 운전 태도의 반응 및 적응이 필요할 수 있다는 것을 매우 광범위하게 이해할 수 있다.

다른 실시예에서, 차량 외부의 온도가 습도 레벨과 함께 검출된다. 온도가 미리 정해진 문턱값 온도보다 낮다는 것이 검출되고, 상기 습도 레벨이 미리 정해 진 임계치 습기보다 크면, 미끄러운 도로 가능성이 있다는 것이 유추될 수 있다. 이러한 예에서, 상기 비디오 이미지 중의 도로의 표현은 그에 상응하여, 상기 가능한 위험이 운전자에 의해 인식되는 방식으로 도로의 표현을 변화시킴으로써, 바뀌어질 수 있다. 예컨대, 얼음 위에서 발생하는 것과 같은 반사가 상기 도로 표현에 부가되어, 운전자에게 위험한 빙판 도로가 존재한다는 것을 나타낼 수 있다.

본 발명의 다른 예에서, 외부 시인성(outside visibility)을 검출하는 상기 센서 데이터는 처리되고, 상기 외부 시인성이 미리 정해진 시인성보다 더 낮고, 전방 차량에 대한 상대 거리가 미리 정해진 거리보다 더 큰 경우, 상기 검출 차량의 전방에 있는 차량의 표현은 변경될 수 있다. 안개낀 상황에서, 레이더 또는 적외선 센서와 같은 거리 센서는, 운전자가 전방 차량을 명확하게 인식할 수 없는 상황에서 더 먼 거리에 있는 물체를 검출할 수 있다. 차량 내의 상기 추가의 거리 센서를 이용하여, 상기 비디오 이미지는 실제 위치의 차량 이미지로 보강될 수 있다. 따라서, 상기 차량은 실제보다 더 잘 시인될 수 있다.

다른 상황에서, 위치 결정 유닛으로부터의 센서 데이터는 차량에 제공되는 맵 데이터 상에서 차량의 실제 위치를 결정하는 데 사용될 수 있다. 상기 맵 데이터 중의 위치가 알려진 경우, 상기 이미지 중에서 시인 가능하지만 또한 상기 맵 데이터에 포함되어 있는 임의의 데이터가 강조될 수 있다. 예컨대, 속도 센서는 상기 차량이 고속으로 주행하고 있음을 나타낼 수 있다. 상기 위치 결정 유닛은 상기 차량이 철도 건널목 또는 횡단 보도에 접근하고 있음을 결정할 수 있다. 두 상황에서, 실제 차량 속도는 횡단 보도 또는 철로 건널목과 같은 다가오는 물체에 적응하지 못할 수 있다. 이러한 예에서, 횡단 보도 자체의 표현 또는 Belisha Beacon의 표현은 변경될 수 있다. 동일한 방식으로 깜박이등(flashing light)이 실제 반짝거리지 않더라도 상기 깜박이등이 철도 건널목에 추가될 수 있다.

본 발명은 또한 차량 환경으로부터 비디오 이미지를 디스플레이하는 시스템에 관한 것이다. 상기 시스템은 상기 차량 환경으로부터 비디오 이미지를 취하는 이미지 센서를 포함한다. 또한, 차량 환경의 데이터 또는 차량 자체의 데이터를 검출하는 적어도 하나의 센서가 제공된다. 센서 처리 유닛이 상기 센서 데이터를 처리하고, 비디오 이미지 처리 유닛이 상기 비디오 이미지를 사후 처리하고 비디오 이미지 중의 물체를 인식한다. 상기 디스플레이된 비디오 이미지 중의 상기 인식된 물체의 표현을 변화시킴으로써, 상기 디스플레이된 비디오 이미지 중의 상기 처리된 센서 데이터를 시각화하는 그래픽 유닛이 제공된다.

상기 센서로부터의 정보는 운전자에게 디스플레이된다. 상기 정보는 차량 전방의 다른 물체까지의 거리를 검출하는 거리 센서, 상기 검출 차량 전방에서 주행하는 차량의 속도를 검출하는 속도 센서, 상기 검출 차량 자체의 속도를 검출하는 다른 속도 센서, 외부 온도를 측정하는 온도 센서, 습도 레벨 측정 센서 또는 위치 검출 센서로부터 나올 수 있다. 상기 위치 검출 센서는, 디지털 맵 데이터를 포함하고 상기 운전자를 원하는 목적지까지 안내할 수 있는 내비게이션 시스템의 일부일 수 있다. 현재의 차량 위치가 알려진 경우, 상기 위치와 디지털 맵 상의 환경을 비교함으로써 가능한 위험 물체 역시 검출될 수 있고, 비디오 이미지 중의 물체의 표현을 상기 내비게이션 유닛으로부터의 정보에 기초하여 바꿀 수 있다.

상기 시스템은 상기와 같이 동작하는 것이 바람직하다.

이하에서, 첨부 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.

도 1에서, 운전자에게 제시되는 비디오 이미지에 센서 정보를 시각화하는데 이용될 수 있는 시스템이 도시되어 있다. 도 1에 나타낸 시스템은 차량의 환경으로부터 이미지를 찍는 카메라(11)를 포함한다. 카메라는 카메라로부터의 이미지가 디스플레이(12) 상에서 운전자에게 디스플레이되는 여행 보조 시스템의 일부일 수 있다. 카메라는 차량(도시 생략) 내에 장착된다. 상기 카메라는 차량 전면에 위치한 부분을 감시하는 윈드스크린 뒤에 배치될 수 있다. 또한, 카메라를 차량의 전면 부분, 예를 들어, 라디에이터 그릴 옆에 장착할 수도 있다. 상기 카메라는 25 내지 100 프레임(초 당 이미지) 사이의 프레임 속도로 이미지를 찍는 CCD 카메라 또는 CMOS 카메라일 수 있다. 이들 프레임 속도는 차량이 고속으로 주행할 때 충분히 빨리 풍경을 포착하도록 하기 위해 필요하다. 상기 카메라는 차량 전방의 차량 환경의 이차원 표현을 제공한다. 차량이 후방으로 주행하고 있는 경우 차량의 후방부가 감시되는 방식으로 카메라를 위치시킬 수 있다는 것을 이해하여야 한 다. 또한, 두 개의 카메라가 제공될 수도 있는데, 한 카메라는 전방부를 모니터링하고, 다른 카메라는 차량의 후방을 모니터링할 수 있다. 이미지 처리 유닛(13)이 상기 카메라에 연결되어 카메라로부터 비디오 이미지를 수신한다. 상기 이미지 처리 유닛은 예를 들어, 수신된 이미지 데이터에 필터를 적용하여, 비디오 이미지에 물체를 위치시키기 위하여 상기 수신된 이미지를 사후-처리한다. 한 예로서, 물체 검출은 엣지 검출 필터를 이용하여 수행될 수 있는데, 이들 엣지 검출 필터는 이미지의 인접하는 픽셀에서 강도(intensity) 차이를 검출한다. 물체의 윤곽이 발견되면, 상기 윤곽은 물체 데이터 베이스(14)에 저장된 상이한 미리 정해진 윤곽과 비교될 수 있다. 예로써, 이하에서 검출 차량이라 불리는, 카메라를 포함하는 차량이 다른 차량 뒤에서 주행하는 경우, 상기 검출 차량 전방의 그 다른 차량은 이미지 처리 유닛에 의해 검출될 수 있다. 이어서 상기 검출된 윤곽은 물체 데이터베이스와 비교되며 이 비교에 의하여 상기 윤곽은 차량인 것으로 식별될 수 있다. 상기 비디오 이미지 내의 물체를 식별하는 것은 이하에서 상세히 설명되는 바와 같이 센서 데이터를 시각화하는 데에 필요하다.

본 발명의 시스템은 또한 차량의 외부, 즉 차량 환경으로부터의 센서 데이터를 검출하거나 차량 자체로부터의 센서 데이터를 검출하는 센서를 포함한다. 차량 내에는 여러 개의 센서(15)가 제공될 수 있으나, 명확히 하기 위하여 하나의 센서만이 도 1에 도시한 실시예에 나타내었다는 점을 이해하여야 한다. 상기 센서는 검출 차량의 실제 속도에 대한 정보를 제공할 수 있으며, 추가로 검출 차량의 주행 방향을 고려하여 검출 차량의 전방의 차량 또는 다른 물체까지의 거리를 측정하는 거리 센서가 제공될 수 있다. 상기 센서 데이터는 그 센서 데이터를 처리하는 센서 처리 유닛에 전송된다. 상기 검출 차량의 실제 차량 속도, 검출 차량 전방에서 주행하는 차량의 거리 또는 전방의 차량의 속도와 같은 상기 처리된 센서 데이터는, 그래픽 처리을 담당하며 디스플레이(12) 상에 디스플레이될 이미지 데이터를 준비하는 처리 유닛(17)에 전송된다. 따라서, 도 1에 도시한 실시예에서, 상기 처리 유닛은 그래픽 프로세서로 명명된다. 상기 시스템은 또한 사용자에게 소정의 목적지에 어떻게 도달할지를 알려줄 수 있는 내비게이션 유닛(18)을 포함할 수 있다. 상기 내비게이션 유닛은 내비게이션 시스템에 제공된 맵 데이터(19)를 기초로 현재 위치에서 소정의 목적지까지 가장 빠르거나 가장 짧은 경로를 계산한다. 추가로, 위성 시스템으로부터 신호를 수신하는 안테나(20)가 제공될 수 있으며, 상기 내비게이션 유닛은 안테나(20)로부터 수신된 신호에 기초하여 현재 차량 위치를 결정할 수 있다.

센서(15)의 정보는 상이한 방식들로 운전자에게 제시될 수 있다. 센서가 검출 차량 전방의 물체까지의 거리를 측정하는 거리 측정 센서인 경우, 상기 거리는 단순히 거리 값을 디스플레이함으로써 운전자에게 표시될 수 있다. 하지만, 운전자는 제시된 수치에 어떻게 반응하는지 모를 수 있으므로, 상기 추상적인 수치는 운전자에게 유용하지 않을 수 있다. 본 발명에 따르면, 디스플레이된 비디오 이미지에 센서 데이터로부터 수신된 정보를 시각화할 수 있다. 이것은, 실제로는 장면 에 있지 않지만 있을 수 있는 추가의 요소들을 장면 내에 이미 존재하는 대상에 도입함으로써 이루어질 수 있다. 처리된 센서 데이터의 시각화의 상이한 예들이 도 3 내지 도 6과 함께 주어진다.

다음으로, 비디오 이미지에서 센서 데이터를 시각화하는 데 필요한 상이한 단계들이 도 2에 요약되어 있다. 상기 방법은 단계(21)에서 시작하며 비디오 이미지는 단계(22)에서 기록된다. 이어서, 상기 기록된 비디오 이미지는 비디오 이미지에 표시된 물체를 인식하기 위해 추가 처리된다. 상기 물체는 다른 차량, 보행자, 빌딩, 나무, 신호등과 같은 것일 수 있다. 이어서 상기 이미지 처리 유닛은, 나중에, 센서 정보를 시각화하기 위해 표현을 변화시켜야 하는 물체가 어느 것인지 알기 위해 상이한 물체들을 인식해야 한다(단계 23).

단계(24)에서 센서 데이터가 검출되며, 상기 검출된 센서 데이터는 단계(25)에서, 운전자에게 표시되어야 하는 정보를 검색하기 위하여, 처리된다. 다음 단계(26)에서, 상기 센서 데이터로부터 수신된 정보는, 비디오 이미지에서 검출되었던 물체의 표현을 변화시킴으로써 비디오 이미지에서 시각화되어 운전자가 센서에 의해 제공된 정보를 매우 자연스러운 방식으로 알도록 한다. 이를 위해 상기 센서 정보는 이미지로 번역되어야 한다. 이미지 내의 대상 중 어느 것에 대해 표현이 변화되어야 하는 지가 결정되어야 한다. 또한, 어떤 방식으로 상기 표현을 변화시켜야 하는지가 결정되어야 한다. 상기 방법은 단계(27)에서 종료된다.

도 3과 관련하여, 본 발명의 제1 실시예를 보다 상세히 설명한다. 도 3은 검출 차량이 각 방향에 대하여 2차선으로 되어 있는 고속도로(31) 상에서 주행하고 있을 때 검출 차량의 카메라의 한 가지 이미지를 보여준다. 예로써, 상기 검출 차량은 좌측 차선(32)에서 주행하고, 한 차량(33)은 우측 차선에서 주행하고, 다른 차량(34)은 좌측 차선에서 주행할 수 있다. 이들 두 차량은 또한 카메라(11)에 의해 찍힌 비디오 이미지에서 볼 수 있다. 상기 비디오 이미지가 이미지 내의 임의의 물체를 검출하기 위해 처리되는 경우, 차량(33, 34)의 윤곽은 이미지 처리 유닛(13)에 의해 검출될 수 있다. 상기 검출된 형태를 데이터베이스(14)에 저장된 상이한 기준 형태와 비교함으로써, 상기 이미지 처리 유닛은 상기 두 개의 검출된 물체를 차량으로 분류할 수 있다. 또한, 센서(15)는 전방에서 주행중인 두 차량까지의 거리를 측정하는 거리 센서일 수 있다. 거리 정보는 또한 상기 비디오 이미지를 처리함으로써 검색될 수도 있다는 것을 이해하여야 한다. 두 물체(34, 33)가 비디오 이미지에서 매우 빠르게 커지는 것이 검출되면, 이들 두 차량까지의 거리가 더 작아지고 있다고 받아들일 수 있다. 또한, 카메라(11)와 센서(15)는 하나의 3D 이미징 시스템에 통합될 수 있으며, 상기 3D 이미징 시스템은 이미지 외에도 깊이 정보(depth information)를 제공한다. 센서가 이제 차량(34)이 훨씬 더 느려지고 이 차량까지의 거리가 점점 더 줄어들고 있다는 것을 검출하면, 상기 그래픽 프로세서는, 새로운 요소들을 상기 이미지에 도입하는 방식으로 센서(15)로부터 수신된 정보에 반응할 수 있다. 예로써, 차량의 그래픽 표현은 디스플레이된 이미지에 인 위적인 브레이크등(35)을 추가함으로써 변화될 수 있다. 상기 이미지 처리 유닛이 물체(34)를 차량으로 분류한 경우, 상기 시스템은 상기 브레이크등이 실제로 차량의 비디오 이미지에서 검출되지 않았더라도 상기 브레이크등이 차량의 기하학적 형태의 미리 정해진 위치에 추가되는 방식으로 구성될 수 있다. 상기 브레이크등이 활성화된 상태로 나타내어지면, 차량의 운전자는 차량(35)이 브레이크를 활성화시킨다는 인상을 가질 수 있다. 따라서, 운전자는 거리 센서(15)에 의해 거리가 검출될 때 감소하는 거리에 대해 더욱 주의를 기울일 것이다. 전술한 예는 비디오 이미지에 존재하지 않았지만 있을 수 있는 요소를 장면 내에 도입함으로써, 운전자에게는 센서 정보가 추상화시킬 필요없이 알려질 수 있다는 것을 보여준다. 운전자는 센서에 의해 제공된 정보를 쉽게 이해할 수 있다.

도 3과 관련하여, 본 발명의 다른 실시예가 설명될 수 있다. 다른 실시예에서는, 두 차량 (33, 34)이 교통 정체 지역의 마지막 두 차량이며, 차량(33, 34)은 매우 느리게 움직이고 있거나 또는 차량(33, 34)은 전혀 움직이지 않고 있는 상황이 발생할 수 있다. 앞에서 주행중인 두 차량의 거리 또는 속도를 검출하는 센서(15)는 이제 이들 두 차량이 실제로 더 이상 움직이지 않으며 검출 차량이 상대적으로 고속으로 움직이고 있음을 검출한다. 위험한 상황이 발생할 수 있음을 운전자에게 보여주기 위하여, 비디오 이미지 내의 두 차량(33, 34)의 표현은, 이들 두 차량이 교통 정체의 후방 끝의 일부임을 신호하기 위하여 두 개의 경고등(35)이 깜박이는 상태로 보여질 수 있는 방식으로 변화될 수 있다. 두 차량의 운전자가 차량의 경고등을 켜지 않았더라도, 검출 차량의 운전자는 이해하기 쉬운 방식으로 알게 된다. 따라서, 운전자는 실제로 브레이크를 작동킴으로써 두 차량(33, 34)과의 충돌을 피하기 위해 필요한 방식으로 반응할 수 있다. 거리 센서(15)로부터 수신된 정보 외에도, 교통 정체의 정보 역시 내비게이션 시스템으로부터 수신될 수 있다. 라디오 방송국의 라디오 시그널로 인코딩되어 수신되는 TMC 메세지(트래픽 메세지 채널)과 같은 시스템이 알려져 있다. 이 교통 뉴스는 고속 도로의 어느 부분에서 교통이 정체되어 있는지에 대한 정보를 포함한다. 내비게이션 유닛에서 결정된 실제 차량 위치와 교통 뉴스를 비교함으로써, 교통 정체가 발생할 수 있음을 유추할 수 있다. 이러한 내비게이션-기반 정보는 거리 센서 또는 속도 측정 센서 대신 또는 이들 센서와 함께 이용될 수 있다. 경고등을 활성화시킬지 여부를 결정하는 것은 또한 차량이 고속도로에서 주행하고 있는지 아닌지 여부에 의존할 수 있다.

도시 밀집지역에서는, 예를 들어, 차량이 교통 신호를 기다리고 있을 경우, 검출 차량과 동일한 차선 상의 움직이지 않는 차량의 검출은 정상으로 간주될 수 있다. 그러나, 고속도로에서는, 차선 중 하나에서 움직이지 않는 차량의 검출은 위험한 것으로 간주될 수 있다. 따라서, 내비게이션 시스템이 차량이 고속도로에서 주행중임을 나타낼 때에만, 깜박이등이 상기 움직이지 않는 차량에 추가된다.

이 경우, 이미지 중의 인식된 물체의 표현은 두 가지 상이한 센서, 즉 위치 결정 센서 및 속도 또는 거리 센서로부터 수신된 신호에 따라 변화된다.

도 4와 관련하여, 다른 실시예가 개시된다. 도 4에서, 카메라(11)에 의해 기록된 다른 비디오 이미지(41)가 나타난다. 이 예에서 검출 차량은 도로에서 주행중이며 횡단보도(42)에 접근중이다. 상기 시스템은 이제 검출 차량의 실제 차량 속도를 결정할 수 있으며, 차량이 도시한 횡단보도(42)에 접근중이라는 정보가 내비게이션 유닛(18)으로부터 수신될 수 있다. 차량이 횡단보도에 접근할 상황에 대해 매우 높은 속도로 차량이 주행중임이 검출되는 경우, 비디오 이미지는, 횡단보도에서 보통 존재하고, Belisha Beacon이라고도 불리는 경고등이 활성화되는 방식으로 변경될 수 있다. 플래쉬등(43)을 활성화시킴으로써, 운전자는 차량이 횡단보도에 접근할 때 차량의 속도를 늦추는 것이 좋다는 것을 알 수 있다. 또한, 예를 들어, 디스플레이된 횡단보도의 색상을 변화시킴으로써, 횡단보도 자체의 표현을 변화시킬 수 있다. 이 실시예에서는, 물체 자체의 표현이 변화된다.

다른 실시예를 도 5와 관련하여 설명한다. 도 5에는, 카메라(11)에 의해 찍힌 다른 비디오 이미지(51)가 도시되어 있다. 도 5에 도시한 예는 도로 동결 위험이 존재하는 외부 날씨 상태를 운전자가 인식하도록 도와줄 수 있다. 예로써, 온도 센서는 외부 온도를 측정할 수 있다. 외부 온도가 0 ℃에 가깝거나 0 ℃ 미만이고 추가의 센서가 습도 레벨을 측정하면, 센서 처리 유닛(16)은 센서 데이터를 처리하고 습도 레벨이 미리 정해진 습도 문턱값 보다 높은 지 여부를 결정한다. 만일 그렇다면 그리고 온도가 소정의 문턱값 온도보다 낮다면, 도로가 미끄러울 수 있음을 운전자에게 나타내는 것이 유익할 수 있다. 운전자에게 날씨 상태를 알려주기 위하여, 나타난 비디오 이미지는 이미지내에서 도로(52)가 얼음에서처럼 반사(53)를 갖는 것으로 나타내어지는 방식으로 변화될 수 있다. 얼음에서와 같은 반사(53)가 도로에서 나타날 경우, 이들 반사는 빙판 도로의 위험이 존재할 수 있음을 운전자에게 나타낼 수 있다.

도 6에서는 본 발명의 다른 실시예가 개시된다. 도 6은 다시 카메라(11)에 의해 찍힌 이미지(61)를 보여준다. 도 6의 실시예에서, 차량은 철도(63)와 교차하는 도로(62)를 따라 주행중이다. 시스템은 이제 검출 차량의 차량 속도를 검출할 수 있으며, 내비게이션 유닛의 맵 데이터는 철도의 건널목이 다가오고 있음을 나타낼 수 있다. 차량 속도가 매우 높다는 것이 검출되는 경우, 그리고 기차가 접근중일 때 건널목이 닫힐 가능성이 존재할 수 있음에 따라, 플래시등(64)을 철도의 건널목을 나타내는 사인(65)에 도입시킴으로써 운전자에게 이러한 가능한 위험과 지나친 속도를 알릴 수 있다. 플래시등(64)을 통해 운전자는 실제 차량 속도가 철도를 건널 때 적절하지 않을 수 있음을 알게 된다.

전술한 실시예는 운전자가 센서에 의해 제공된 정보를 쉽게 이해할 수 있도록 센서 정보가 어떻게 시각화될 수 있는 지에 대한 일부 예를 보여준다. 본 발명에 따르면, 이러한 시각화는 실제로는 비디오 이미지에 존재하지 않지만 다른 상황에서는 존재할 수 있는 요소를 디스플레이된 비디오 이미지에 도입함으로써 얻어진 다. 장면을 확대하기 위해 이들 본연의 요소를 이용하는 것은 운전자를 불필요한 추상화로부터 자유롭게 하며, 운전자는 상황을 더 빨리 인식할 수 있다.

도 1은 디스플레이된 비디오 이미지 중의 물체의 표현을 변화시킴으로써 센서 정보가 시각화되는, 비디오 이미지를 디스플레이하기 위한 시스템의 개략도이다.

도 2는 센서 정보를 갖는 비디오 이미지를 디스플레이하기 위한 방법을 실행하는 주요 단계를 포함하는 흐름도이다.

도 3은 거리 또는 속도 정보가 비디오 이미지에 표현되는 비디오 이미지의 한 예를 보여준다.

도 4는 비디오 이미지 내의 센서 데이터의 표현의 다른 예를 보여준다.

도 5는 온도 센서의 정보가 디스플레이되는 비디오 이미지의 다른 예를 보여준다.

도 6은 내비게이션 유닛의 정보를 비디오 이미지에서 시각화하는 다른 예를 보여준다.

Claims (22)

1. 차량 환경으로부터 비디오 이미지를 제시하는 방법으로서,

   상기 차량 환경의 비디오 이미지를 취하는 단계;

   상기 차량 환경 또는 상기 차량의 센서 데이터를 검출하는 단계;

   상기 센서 데이터를 처리하는 단계;

   상기 비디오 이미지에서 물체를 인식하는 단계로서, 상기 물체를 인식하는 단계는 상기 비디오 이미지에서 차량을 인식하는 단계를 포함하는 것인, 상기 인식 단계와;

   상기 비디오 이미지 중의 상기 인식된 물체의 표현을 변화시킴으로써, 상기 비디오 이미지에서 상기 처리된 센서 데이터를 시각화하는 단계

   를 포함하고,

   상기 센서 데이터를 검출하는 단계는 검출 차량의 전방의 차량의 속도를 결정하는 단계를 포함하고,

   상기 검출 차량 전방에서 이동하는 상기 차량의 속도가 미리 정해진 문턱값 속도보다 낮은 상기 검출 차량에 대한 상대 속도를 갖는 것이 검출되면, 상기 전방 차량의 브레이크 등이 강조되는 것인 방법.
2. 차량 환경으로부터 비디오 이미지를 제시하는 방법으로서,

   상기 차량 환경의 비디오 이미지를 취하는 단계;

   상기 차량 환경 또는 상기 차량의 센서 데이터를 검출하는 단계;

   상기 센서 데이터를 처리하는 단계;

   상기 비디오 이미지에서 물체를 인식하는 단계로서, 상기 물체를 인식하는 단계는 상기 비디오 이미지에서 차량을 인식하는 단계를 포함하는 것인, 상기 인식 단계와;

   상기 비디오 이미지 중의 상기 인식된 물체의 표현을 변화시킴으로써, 상기 비디오 이미지에서 상기 처리된 센서 데이터를 시각화하는 단계

   를 포함하고,

   상기 센서 데이터를 검출하는 단계는 검출 차량의 전방의 차량의 속도를 결정하는 단계를 포함하고,

   상기 검출 차량 전방의 차량의 표현은, 미리 정해진 문턱값 속도보다 더 낮은 절대 속도의 차량에 대하여 깜박이 경고등을 추가함으로써 변화되는 것인 방법.
3. 제1항 또는 제2항에 있어서, 상기 비디오 이미지 중에 있고 윈드스크린을 통하여 운전자에게 시인 가능한 상기 물체는 상기 비디오 이미지를 사후 처리함으로써 검출되고 해석되며, 물체 분류로 분류되는 것을 특징으로 하는 방법.
4. 제1항 또는 제2항에 있어서, 상기 인식된 물체의 상기 표현은, 상기 비디오 이미지에서 실제로 존재하는 것은 아니지만 다른 주행 환경에서 상기 비디오 이미지에 있을 수 있는 요소를 상기 비디오 이미지에 도입함으로써 변화되는 것을 특징으로 하는 방법.
5. 제1항 또는 제2항에 있어서, 상기 비디오 이미지는 상기 차량 전방의 차량 환경으로부터 취해지는 것인 방법.
6. 제1항 또는 제2항에 있어서, 상기 센서 데이터를 검출하는 단계는 상기 이미지 중에 표시된 물체의 검출 차량에 대한 상대 거리를 결정하는 단계를 포함하고, 상기 검출 차량으로부터 상기 거리가 결정되는 것인 방법.
7. 제1항 또는 제2항에 있어서, 상기 센서 데이터를 검출하는 단계는 외부 온도와 외부 습도 레벨을 검출하는 단계를 포함하고, 상기 외부 온도가 미리 정해진 문턱값 온도보다 낮고 상기 외부 습도가 미리 정해진 문턱값 습도보다 큰 경우, 상기 비디오 이미지에서 도로의 표현이 변화되는 것인 방법.
8. 제7항에 있어서, 상기 도로의 표현은 얼음 위에서와 같은 반사를 추가함으로써 변화되는 것인 방법.
9. 제1항 또는 제2항에 있어서, 상기 센서 데이터를 검출하는 단계는 외부 시인성을 결정하는 단계를 포함하고, 상기 시인성이 미리 정해진 문턱값 시인성보다 낮고 전방 차량까지의 거리가 미리 정해진 거리보다 큰 경우, 상기 검출 차량 전방의 상기 차량의 표현이 변화되는 것인 방법.
10. 제1항에 있어서, 상기 검출 차량 전방의 차량의 표현은, 미리 정해진 문턱값 속도보다 더 낮은 절대 속도의 차량에 대하여 깜박이 경고등을 추가함으로써 변화되는 것인 방법.
11. 제1항 또는 제2항에 있어서, 상기 차량의 센서 데이터를 검출하는 단계는 상기 차량의 위치를 결정하여, 맵 데이터로부터의 정보에 따라, 디지털 맵에서 차량의 위치를 정하고 상기 비디오 이미지 중의 물체를 강조하는 단계를 포함하는 것인 방법.
12. 제11항에 있어서, 상기 맵 데이터로부터 물체 정보가 검색되어, 수신된 센서 데이터에 따라 상기 비디오 이미지 중의 물체를 강조하는 것인 방법.
13. 차량 환경으로부터 비디오 이미지를 디스플레이하기 위한 시스템으로서, 상기 시스템은:

    차량 주변으로부터 비디오 이미지를 취하는 이미지 센서;

    상기 주변의 다른 차량의 속도를 검출하는 적어도 하나의 속도 센서;

    상기 다른 차량의 속도를 처리하는 속도 센서 처리 유닛;

    상기 비디오 이미지를 사후 처리하고, 상기 비디오 이미지에서 차량을 인식하는 이미지 처리 유닛;

    상기 디스플레이된 비디오 이미지에서 상기 처리된 센서 데이터를 시각화하는 그래픽 처리 유닛

    을 포함하고,

    검출 차량의 전방에서 이동하는 차량의 속도가 미리 정해진 문턱값 속도보다 낮은 상기 검출 차량에 대한 상대 속도를 갖는다는 것을 상기 속도 센서가 검출하면, 상기 그래픽 처리 유닛은 상기 전방 차량의 브레이크등을 활성화된 상태로 디스플레이하는 것인 시스템.
14. 차량 환경으로부터 비디오 이미지를 디스플레이하기 위한 시스템으로서,

    차량 주변으로부터 비디오 이미지를 취하는 이미지 센서;

    상기 주변의 다른 차량의 속도를 검출하는 적어도 하나의 속도 센서;

    상기 다른 차량의 상기 속도를 처리하는 속도 센서 처리 유닛;

    상기 비디오 이미지를 사후 처리하고, 상기 비디오 이미지에서 차량을 인식하는 이미지 처리 유닛;

    상기 비디오 이미지에서 상기 처리된 센서 데이터를 시각화하는 그래픽 처리 유닛

    을 포함하고,

    검출 차량의 전방에서 이동하는 상기 차량의 절대 속도가 미리 정해진 문턱값 속도보다 낮다는 것을 상기 속도 센서가 검출하면, 상기 그래픽 처리 유닛은 상기 비디오 이미지에서 깜박이 경고등을 상기 전방 차량에 추가하는 것인 시스템.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제

Images