KR20080020956A - 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템 - Google Patents
차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템 Download PDFInfo
- Publication number
- KR20080020956A KR20080020956A KR1020070088032A KR20070088032A KR20080020956A KR 20080020956 A KR20080020956 A KR 20080020956A KR 1020070088032 A KR1020070088032 A KR 1020070088032A KR 20070088032 A KR20070088032 A KR 20070088032A KR 20080020956 A KR20080020956 A KR 20080020956A
- Authority
- KR
- South Korea
- Prior art keywords
- night
- information
- road
- course
- view
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000011156 evaluation Methods 0.000 claims description 32
- 238000001228 spectrum Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
나이트-뷰 시스템을 동작시키는 방법과 그에 대응하는 나이트-뷰 시스템이 개시된다.
나이트-뷰 시스템을 동작시키는 방법에서, 나이트-뷰 센서를 이용하여 차량 환경의 비디오 이미지가 제공되고, 상기 비디오 이미지는 내비게이션 장치로부터 수신되는 도로 코스에 대한 정보를 고려하여, 차량이 이동하는 도로의 코스를 검출하도록 처리되며, 상기 비디오 이미지 및 검출된 도로 코스는 디스플레이 장치에 표시된다.
Description
본 발명은 차량의 나이트-뷰 시스템(night-view system)의 동작 방법 및 대응하는 나이트-뷰 시스템에 관한 것이다. 특히, 본 발명은 디스플레이 품질을 개선하는 방법 및 디바이스에 관한 것이다.
카(car)와 같은 자동차(motor vehicle) 분야에 있어서, 밤에 운전자의 시야를 증대시키기 위한 소위 나이트-뷰 시스템을 자동차에 제공하는 것이 알려져 있다. 이 수단에 의해, 나쁜 시각 조건으로 인한 수 많은 사고를 감소시킴으로써 안전성을 증대시킬 수 있다. 또한, 나이트-뷰 시스템은 운전자가 훨씬 더 안락한 방식으로 차량 환경을 모니터링할 수 있도록 해주기 때문에, 밤에 운전할 때 운전자의 안도감을 증대시킨다. 나이트-뷰 시스템은 통상, 가시광선이 없는 경우에도 소정의 이미지를 제공하여 주는 적외선 카메라와 같은 특정 나이트-뷰 센서에 기초하고 있다.
그러나, 나이트-뷰 센서에 의해 제공되는 이미지는 종종, 전자기 스펙트럼의 가시 광선 범위에서 동작하는 종래의 광학 이미징 디바이스(optical imaging device)에 의해 제공되는 것과 같은 이미지와는 상당히 다를 수 있다. 따라서, 나이트-뷰 이미지에서의 방위(orientation)는 종종 어려울 수 있다. 또한, 도로 표면 또는 도로 엣지와 같은 일부 관련 구조는 나이트-뷰 이미지의 컨트라스트(contrast)를 매우 약화시켜, 운전자가 그 관련 구조를 인식하기가 어려워진다.
상기 관점에서, 차량이 이동하고 있는 도로 코스의 나이트-뷰 이미지에 하이라이트를 주는 아이디어가 있다. 이는 나이트-뷰 이미지에서 도로 코스에 대한 신뢰성 있는 검출을 필요로 하는데, 이는 기존의 기술을 이용하여 달성하기가 어렵다.
따라서, 관련 분야에서 차량이 이동하고 있는 도로 코스가 신뢰성 있게 검출될 수 있고 그 코스가 나이트-뷰 이미지와 함께 디스플레이될 수 있는 방식으로, 나이트-뷰 시스템의 동작을 개선하는 것에 대한 요구가 있다.
본 발명의 한 가지 실시예에 따르면, 나이트-뷰 시스템을 동작하는 방법이 제공되는데, 상기 방법은, 나이트-뷰 센서에 의해 차량 환경의 비디오 이미지를 제공하고; 내비게이션 디바이스로부터 검색되는 정보를 고려하여, 상기 비디오 이미지를 처리하여 차량이 이동하는 도로 코스를 검출하는 것을 포함한다. 상기 비디오 이미지 및 검출된 도로 코스는 디스플레이 디바이스 상에 표시된다.
본 발명에 따르면, 나이트-뷰 시스템의 신뢰성 및 정밀도가 현저하게 증대되고, 이에 의해, 밤 또는 어둠에서 운전할 때, 또는 일반적으로 시야 조건이 나쁜 상태에서 운전할 때 운전자의 안도감 및 안전성이 현저하게 개선된다.
이하에서는, 본 발명의 바람직한 실시예를 비제한적인 예를 통해 설명한다.
본 발명의 한 가지 실시예에 따르면, 차량 내의 나이트-뷰 시스템을 동작시키는 방법이 제공되는데, 상기 방법은, 나이트-뷰 센서에 의해 차량 환경, 특히 차 량의 전방의 비디오 이미지를 제공하는 것, 즉 나이트-뷰 이미지를 제공하는 것, 차량이 이동하는 도로의 코스에 대한 정보를 내비게이션 장치로부터 검색하는 것, 상기 내비게이션 장치로부터 검색된 정보를 고려하여, 상기 비디오 이미지를 처리하여, 상기 도로의 코스를 검출하는 것, 상기 비디오 이미지 및 상기 검출된 도로 코스를 디스플레이 장치 상에서 표시하는 것을 포함한다. 예컨대, 상기 검출된 도로 코스는 상기 비디오 이미지 위에 겹쳐져서, 상기 비디오 이미지 내의 도로 코스에 하이라이트를 줄 수 있다.
상기 접근법은 차량 환경의 표시된 나이트-뷰 이미지에 상당한 이점을 제공한다. 특히, 상기 표시된 나이트-뷰 이미지에서 운전자의 방위가 용이해진다. 상기 내비게이션 장치에 의해 제공되는 도로 코스에 대한 보충 정보를 이용하여, 상기 도로 코스 검출의 신뢰성이 현저하게 향상된다. 특히, 상기 도로 코스는, 단지 콘트라스트 정보에 기초하여 상기 검출을 할 수 없는 경우에도 표시될 수 있다. 이는, 도로의 폭이 갑작스럽게 변한다면, 또는 도로의 코스의 피크를 통과하다면, 즉 피크 너머의 도로 코스가 나이트-뷰 이미지에서 보이지 않는다면, 예컨대 도로 코스에 있는 십자로(crossings) 또는 교차점(junctions)에서의 경우일 수 있다. 따라서, 내비게이션 장치로부터 검색된 도로 코스에 대한 정보는 그 도로 코스 중의 십자로 또는 교차점의 존재에 대한 정보, 도로의 폭에 대한 정보 및/또는 도로 코스의 높이 정보를 포함하는 것이 바람직하다.
본 발명의 한 가지 실시예에 따르면, 상기 내비게이션 시스템으로부터 검색된 정보는 상기 도로 코스에 대한 차량의 상대적 위치의 정보도 포함한다. 이러한 정보는 상기 내비게이션 장치의 위성 내비게이션 시스템에 의해, 예컨대 GPS(Global Positioning Syste)에 기초하여 제공될 수 있다. 이러한 경우에, 차량의 종방향 위치, 즉 상기 도로 코스의 방향을 따른 위치와 관련한 정보뿐만 아니라, 측방향, 즉 상기 도로의 엣지에 대한 정보를 제공하는 것이 바람직하다. 이러한 정보를 이용하여, 도로의 엣지와 같은 나이트-뷰 이미지 관련 구조의 영역이 예상되는 예측을 할 수 있어, 검출의 신뢰성을 향상시킬 수 있다.
본 발명의 한 가지 실시예에 따르면, 상기 나이트-뷰 이미지를 처리하는 것 역시 차량의 방위 또는 자세(attitude)에 대한 정보를 고려하여 수행된다. 특히, 이러한 정보는, 통상 차량 가속, 차량 감속 또는 차량의 좌우 조향 이동에 의해 야기되는 것과 같은 종방향 및/또는 측방향으로의 차량의 기울어짐을 포함할 수 있다. 도로의 코스에 대한 상이한 차량 방위 및 기울어짐은 나이트-뷰 이미지에서의 도로 코스의 모습에 영향을 미치므로, 상기 나이트-뷰 이미지 처리 중에 상기 기울어짐에 대한 정보를 고려하는 것이 유리하다.
본 발명의 한 가지 실시예에 따르면, 상기 비디오 이미지를 처리하기 위해 2단계 프로세스가 이용된다. 즉, 처음에, 비디오 이미지 중의 도로 코스는 콘트라스트 정보를 평가함으로써 검출된다. 또한, 나이트-뷰 이미지에서의 예상된 도로 코스는 상기 내비게이션 장치로부터 검색된 정보에 기초하여 계산된다. 다음에, 상기 콘트라스트 정보에 기초하여 검출된 도로 코스는 상기 예상된 도로 코스와 매치된다. 이러한 방식으로, 상기 검출된 도로 코스와 실제 도로 코스 사이의 임의의 남아 있는 시프트 또는 편차(deviation)가 감소될 수 있다. 바람직하게는, 상기 매칭 과정은 적당한 간격을 두고 반복되어, 높은 수준의 정확성을 계속 유지하도록 한다.
한 가지 실시예에 따르면, 상기 방법은 또한, 상기 도로 코스 상에 있는 또는 그 도로 코스 근처의 물체를 자동적으로 검출하기 위하여 상기 나이트-뷰 이미지를 처리하고, 상기 도로 코스 상에서 또는 도로 코스 부근에서 물체가 검출된다면 차량 사용자에게 경고를 제공하는 것을 포함한다. 상기 경고는 음향 신호에 의해, 또는 디스플레이 장치 상에서의 광 신호에 의해 예컨대, 표시된 나이트-뷰 이미지에서 상기 검출된 물체에 하이라이트를 줌으로써 제공될 수 있다. 이러한 방식으로, 안전 수준은 더욱 증대될 수 있다.
한 가지 실시예에 따르면, 상기 방법은 상기 나이트-뷰 이미지와 상기 검출된 도로 코스를 표시하기 위하여, 그리고 상기 내비게이션 장치의 정보, 예컨대 운전자 지시 사항, 교통 경보 등을 표시하기 위하여 동일한 디스플레이 장치를 사용하는 것을 포함한다. 상기 나이트-뷰 시스템 및 내비게이션 장치에 대하여 공통의 디스플레이 장치를 사용하는 접근법은 한편으로는, 하드웨어 경비 및 관련 비용과 관련하여 유리하다. 즉, 복수의 디스플레이 장치를 제공하여야 하는 것을 피할 수 있고, 필요로 하는 구성 요소의 개수가 줄어든다. 다른 한편으로, 운전자의 안도감이 증대된다. 즉, 운전자는 복수의 디스플레이 장치에 집중하지 않아도 되고, 단지 차량을 운전하고 조종하는 것과 관련하여 모든 관련 정보를 표시하는 하나의 디스플레이 장치에 집중할 수 있다. 상기 디스플레이 장치는, 이미지 및 다른 정보를 차량의 윈드스크린에 표시할 수 있도록 해주는 헤드업 디스플레이(head-up display)를 포함할 수 있다.
한 가지 실시예에 따르면, 본 발명은 나이트-뷰 시스템을 제공하는데, 상기 시스템은 상기 방법에 따라 동작하도록 구성되는 것이 바람직하다. 특히, 상기 나이트-뷰 시스템은 차량 환경의 비디오 이미지, 또는 나이트-뷰 이미지를 제공하기 위한 나이트-뷰 센서, 내비게이션 장치로부터 수신된 도로 코스에 대한 정보를 고려하여, 차량이 이동하는 도로 코스를 검출하기 위하여 상기 비디오 이미지를 처리하도록 구성된 비디오 처리 장치, 상기 비디오 이미지 및 검출된 도로 코스를 표시하기 위한 디스플레이 장치를 포함한다.
상기 나이트-뷰 시스템은 또한, 상기 내비게이션 장치로부터 상기 도로 코스에 대한 상기 정보를 검색하도록 구성된 데이터 처리 장치를 포함할 수 있다. 상기 데이터 처리 수단을 이용하여, 내비게이션 장치로부터의 데이터는 비디오 처리 목적을 위해 조절될 수 있다. 이는, 상기 내비게이션 장치가 나이트-뷰 시스템과 관련하여 외장형 구성 요소를 구성하고 데이터 포맷의 적응화(adaptation)가 필요하다면, 특히 유리하다. 물론, 상기 내비게이션 장치는 나이트-뷰 시스템의 일체형 구성 요소일 수도 있다. 바람직하게는, 상기 내비게이션 장치는, 그 내비게이션 장치에 저장된 디지털 맵 표현 상에서 차량의 위치를 정확히 파악할 수 있도록 해주는 위성 내비게이션 기능, 예컨대 GPS 기능을 포함한다. 상기 내비게이션 장치에 저장된 상기 디지털 맵 데이터는 또한 상기 나이트-뷰 이미지의 처리시에 이용되는 도로 코스에 대한 정보를 포함하는 것이 바람직하다.
한 가지 실시예에 따르면, 상기 나이트-뷰 센서는 전자기 스펙트럼의 원적외선 또는 근적외선 범위 중 적어도 하나에서 동작한다. 물론, 원적외선 및 근적외선 범위 모두에서 동작하는 센서를 제공하는 것도 생각할 수 있고, 또는 전자기 스펙트럼의 상이한 범위들에서 동작하는 복수의 나이트-뷰 센서를 제공하는 것도 생각할 수 있다. 각각의 범위는 나이트-뷰 이미지 중의 물체를 인식하는 것과 관련하여 특별한 이점을 제공할 수 있다. 예컨대, 원적외선 범위에서, 사람 또는 동물과 같은 생물은 하이 콘트라스트(high contrast)를 야기할 것이고, 이는 그 생물의 인식을 용이하게 한다. 다른 한편으로, 근적외선 스펙트럼에서, 전자기 스펙트럼의 가시 광선 범위에서의 이미지와 더욱 유사한 나이트-뷰 이미지가 제공되며, 이는 나이트-뷰 이미지의 방위를 더욱 용이하게 한다.
구체적으로, 전자기 스펙트럼의 근적외선 범위에서 동작하는 센서를 사용하 는 경우에, 이미지로 표현되는 차량 환경을 조명하기 위한 적외선 방사원(source of infrared radiation)을 추가로 제공하는 것이 유리하다.
또한, 본 발명의 실시예는 상기 나이트-뷰 시스템을 포함하는 자동차에 관한 것이다. 상기 자동차가 추가로 내비게이션 시스템을 포함한다면, 나이트-뷰 시스템 및 내비게이션 시스템에 대해 공통의 디스플레이 장치를 제공하여, 하드웨어 경비 및 관련 비용을 줄이고 운전자의 안도감을 증대시키는 것이 유리하다.
이하에서는, 본 발명의 실시예를 첨부 도면을 참조하여 더욱 상세하게 설명한다.
도 1은 나이트-뷰 시스템이 장착되어 있고 도로(5) 상에서 이동하는 자동차(1)을 개략적으로 보여준다. 도 1은 또한, 상기 나이트-뷰 시스템의 나이트-뷰 센서의 검출 범위(2)를 보여주는데, 상기 검출 범위(2)는 점선으로 표시되어 있다. 전형적인 폭의 도로(5)에 대하여, 검출 범위(2)는 도로의 좌측 엣지(5L) 및 도로의 우측 엣지(5R)를 포괄한다. 검출 범위(2)는 자동차(1)로부터 전방을 향해 연장되고, 따라서 차량(1)의 이동 방향에서의 차량 환경을 포괄한다. 물론, 자동차(1)의 후방 영역을 포괄하는 나이트-뷰 센서를 제공하는 것도 생각할 수 있다.
자동차(1)에서, 나이트-뷰 센서는 자동차(1) 전방의 영역을 양호하게 포괄할 수 있도록 해주는 위치, 예컨대 윈드실드의 상측 위치에 가까운 위치, 선바이 저(sun visor)의 후방 시야 미러(rear view mirror)에 가까운 위치에 설치되는 것이 바람직하다.
도 2A 및 도 2B는 자동차(1)의 나이트-뷰 시스템에 의해 제공되는 예시적인 비디오 이미지, 즉 나이트-뷰 이미지를 보여준다. 이하에서 설명하는 나이트-뷰 시스템에서, 일련의 이미지들은 실제 연속하여 제공되는 것이라는 점을 이해하여야 한다. 즉, 비디오 이미지는 실시간으로 평가되어 표시되는 일련의 이미지를 포함한다.
도 2A에 도시한 예시적인 나이트-뷰 이미지는 도로의 좌우 엣지(5L, 5R)에 의해 경계지워진 도로를 보여준다. 또한, 상기 이미지는 도시된 예에서 도로의 우측 엣지(5R) 부근에 있는 물체(6)를 보여준다. 나이트-뷰 시스템의 디스플레이 장치에서 보여지는 것과 같이, 나이트-뷰 이미지는 통상 회색의 표현 등의 형태를 가지는데, 개략적으로 나타내어지는 구조들은 회색 또는 다른 색깔의 상이한 음영(shade)으로 대조된다. 상기 콘트라스트는 나이트-뷰 이미지에서 매우 약할 수 있으며, 전자기 스펙트럼의 가시 영역에서 검출된 이미지에 존재하는 콘트라스트로부터 변할 수 있다. 따라서, 나이트-뷰 시스템의 동작은 나이트-뷰 이미지 중의 도로(5) 코스를 검출하는 것, 즉 도로 코스를 식별하는 것, 나이트-뷰 이미지에서의 방위를 쉽게 하기 위하여 상기 검출된 도로(5)의 코스를 나이트-뷰 이미지에 겹쳐 표시하는 것을 포함한다.
일반적으로, 도로(5)의 코스는 도로의 좌우 엣지(5L, 5R)로 인한 콘트라스트를 이용하여 식별된다. 검출된 도로(5)의 코스와 관련하여, 이는 도로의 좌우 엣지(5L, 5R)를 나타내는 라인의 형태로, 또는 도로의 좌우 엣지(5L, 5R) 사이의 영역을 나타내는 솔리드 표면의 형태로, 예컨대 나이트-뷰 이미지의 회색 표현과 관련한 충분한 콘트라스트를 제공하는 색깔을 이용하여 표시될 수 있다. 그러나, 도로의 좌측 엣지만을 표시하는 것이 유리할 수 있는데, 왜냐하면 이러한 표시는, 예컨대 도로 상의 장애물로 인한 도로의 좌우 엣지(5L, 5R) 사이의 영역에 포함된 임의의 임미지 정보를 "감추지" 않기 때문이다.
또한, 도 2A에 나타낸 물체(6)와 같은 추가의 장애물을 자동적으로 검출하기 위하여 상기 나이트-뷰 이미지를 평가할 수도 있다. 도로(5)의 코스 상에서 또는 그 부근에서 어떤 물체가 검출되면, 그 물체는 하이라이트될 수 있고, 및/또는 음향 신호에 의해 운전자에게 경고가 주어질 수 있다.
어떤 경우이든지, 나이트-뷰 이미지에서 도로(5)의 코스를 검출하고, 그 검출된 도로의 코스를 나이트-뷰 이미지 위에 겹쳐놓음으로써 도로의 코스에 하이라이트를 주면, 관련 물체와 나이트-뷰 이미지의 배경 사이를 보다 잘 구별할 수 있다. 또한, 나이트-뷰 이미지에서의 방위가 쉬워진다. 이는, 전자기 스펙트럼의 가시 영역에서 검출된 이미지에 존재하는 콘트라스트와는 현저히 다른 콘트라스트를 제공하는 원적외선 센서에 의해 검출된 나이트-뷰 이미지에서 특히 유리하다.
상기한 나이트-뷰 시스템을 동작시키는 방법에서, 도로(5)의 코스를 검출하는 것은 제1 단계에서 나이트-뷰 이미지를 콘트라스트 정보에 기초하여 처리하는 것을 포함한다. 바람직하게는, 이러한 처리는 복수의 평가열(evaluation rows)(8a, 8b, 8c)를 갖고 있는 평가 윈도(evaluation window)(8)을 이용하여 달성되고, 그리고 예컨대 Kalman 필터를 이용하여 이미지 데이터를 적절히 필터링함으로써 달성된다. 이러한 방식으로, 도로의 좌우 엣지(5L, 5R)로 인한 콘트라스트는 개선되고, 도로(5) 상에서 이동하는 차량의 이동으로 인한 효과가 고려될 수 있다. 도로의 엣지가 예상되는 나이트-뷰 이미지의 영역에 놓인 평가 윈도(8)를 이용함으로써, 상기 평가는 단순화될 수 있고 평가 속도는 증대될 수 있다.
도 2A에 도시한 바와 같이, 평가 윈도(8)는 도로(5)의 코스를 검출하기 위한 관련 콘트라스트가 예상되는 나이트-뷰 이미지의 부분들을 구성한다. 평가 윈도(8)의 크기는 나이트-뷰 이미지의 전체 크기보다 작기 때문에, 전체 나이트-뷰 이미지의 평가와 비교하여 그 평가 시간은 단축될 수 있고, 및/또는 평가 해상도는 성능에 악영향을 미치는 일이 없이 증대될 수 있다. 일반적으로, 평가 윈도(8)의 적절한 위치는 나이트-뷰 이미지의 좌측 하단부 및 우측 하단부이다.
도시한 바와 같이, 평가 윈도는 전체적으로 사각형의 형태를 갖고 있다. 상기 평가 윈도는 평가열(8a, 8b, 8c)로 분할되는 것이 바람직한데, 상기 평가열들은 나이트-뷰 이미지의 수형 방향으로 연장된다. 이러한 수평 연장 평가열을 이용하는 것은, 도로의 엣지(5L, 5R)와 같은 실질상 수직 구조를 검출하는 것과 관련하여 특히 유리하다.
그러나, 일부 경우에 있어서, 나이트-뷰 이미지에서 단순히 콘트라스트 정보를 이용하는 것은 콘트라스트가 불충분하여 나쁜 결과를 제공하고, 또는 예컨대 도로의 코스가 피크를 통과하는 경우(이는 도로의 좌측 엣지(5L) 또는 우측 엣지(5R)의 일부가 피크 아래에 위치하고 평가에 이용할 수 없다는 것을 의미한다)에는 불가능할 수 조차 있다. 콘트라스트 정보에 기초한 도로의 좌우 엣지(5L, 5R)의 검출에 악영향을 미치는 다른 상황으로는, 도로(5)의 코스 중의 십자로 또는 교차점이 존재한다든지, 도로(5)의 폭이 갑작스럽게 변하는 것 등이 있다. 또한, 손상 또는 상이한 재료로 인한 도로 표면의 변화에 의해 장애가 야기될 수 있다. 상기 효과로 인하여, 나이트-뷰 이미지에서 단순히 콘트라스트 정보에 기초하여 검출된 도로의 코스는 표시되었을 때, 교란되고 예민한 모습을 가질 수도 있다. 따라서, 상기한 동작 방법 및 나이트-뷰 시스템은 나이트-뷰 이미지에서 도로의 코스를 검출할 때, 차량의 내비게이션 시스템 또는 내비게이션 장치에 의해 제공되는 것과 같은 도로 코스에 대한 정보를 이용하는 것을 추가로 포함한다. 예컨대, 상기 추가의 정보는 평가 윈도(8)의 크기 및/또는 위치를 조정하는 데에 이용될 수 있다.
도 2B는 도 2A에 도시한 것과 유사한 나이트-뷰 이미지의 다른 예를 개략적 으로 보여준다. 그러나, 도 2A와 비교하여, 도 2B에서 도로(5)의 코스는 교차점을 포함한다. 도면으로부터 알 수 있는 바와 같이, 나이트-뷰 이미지에서의 구조의 모습은, 도로(5)의 코스 중에 교차점이 없는 도 2A의 경우보다 훨씬 더 복잡하다. 특히, 도로의 엣지의 수가 실제적으로 증가되었다. 도 2B에 도시한 바와 같이, 도로의 좌측 엣지(5L)의 제1 부분과 도로의 좌측 엣지(5L')의 제2 부분이 있다. 유사하게, 도로의 우측 엣지(5R)의 제1 부분과 도로의 우측 엣지(5R')의 제2 부분이 있다. 이들 부분 사이에서, 교차점의 위치에서, 방해(interruption)가 있다. 명백하게도, 도로(5)의 코스를 검출하기 위한 나이트-뷰 이미지의 평가는 도 2B의 경우에서 훨씬 더 복잡하다. 따라서, 본 명세서에서 제안된 방법은, 특히 도 2B에 도시한 바와 같이 교차점 또는 십자로의 존재에 직면하여, 내비게이션 장치에 의해 제공되는 도로(5) 코스에 대한 정보를 고려하는 것을 포함한다. 이러한 경우에, 평가는, 예컨대 추가의 도로 엣지를 검출하기 위해 추가의 평가 윈도(8)를 포함시킴으로써, 교차점의 존재에 적응시킬 수 있다. 또한, 평가 윈도(8)의 크기 및/또는 위치는 내비게이션 장치로부터 수신된 도로(5)의 코스에 대한 정보에 따라 조정될 수 있다.
한 가지 실시예에 따르면, 나이트-뷰 이미지를 평가할 때 도로(5) 코스에 대한 높이 정보 및/또는 도로(5)의 폭에 대한 정보가 고려된다. 일반적으로, 도로(5) 코스의 높이 또는 도로 폭의 변화는 나이트-뷰 이미지에서 도로(5)의 코스의 모습에 영향을 미친다. 예컨대, 원근 왜곡(perspective distortion)이 있을 수 있 고, 또는 피크 너머의 도로(5) 코스가 "사라질 수 있다". 이러한 상황은 내비게이션 장치에 의해 제공되는 정보를 이용함으로써, 나이트-뷰 이미지의 평가 중에 고려된다. 바람직하게는, 이는 내비게이션 장치로부터 수신한 정보를 이용하여 도로(5)의 예상된 코스를 계산하고, 상기 예상된 도로 코스를 나이트-뷰 이미지에서 검출된 구조와 비교함으로써 이루어질 수 있다. 한편으로, 상기 예상된 도로(5)의 코스는 평가 윈도(8)의 위치를 설정하기 위한 기초 역할을 할 수 있다. 다른 한편으로, 나이트-뷰 이미지에서 도로 엣지가 검출된다면, 이들 검출된 도로 엣지를 상기 예상된 도로(5) 코스와 매치시킬 수 있다. 즉, 상기 예상된 구조는 나이트-뷰 이미지에서 검출된 특징들과 정렬되어진다. 이는 상기 예상된 도로 코스가 장애물에 덜 영향을 받기 때문에 검출 정확성을 현저하게 증대시킨다. 표시되었을 때 상기 검출된 도로(5) 코스의 예민한 모습은 회피되고, 따라서 운전자는 도 2A에 도시한 물체(6)와 같은, 도로(5)의 코스 상에 있는 또는 그 코스 부근에 있는 물체를 확실하게 인식할 수가 있게 된다.
또한, 통상적으로 도로(5) 상에서 이동하는 자동차(1)의 방위 또는 자세는 변할 수 있다. 즉, 길이 방향 또는 측방향으로 자동차(1)의 기울어짐이 있을 수 있고, 도로의 코스와 관련하여 자동차(1)의 상이한 방위가 있을 수 있는데, 이들은 나이트-뷰 이미지의 모습에 영향을 미친다. 따라서, 나이트-뷰 이미지를 평가하는 동안, 차량의 방위 및/또는 자세에 대한 정보 역시 고려하는 것이 바람직하다. 이는 상기한 바와 같이, 예상된 도로 코스를 나이트-뷰 이미지의 특징과 비교하여 매 칭함으로써 달성될 수 있다.
한 가지 실시예에 따르면, 상기 평가시에는 사용자가 선택한 내비게이션 루트도 고려한다. 이 정보를 이용하여, 차량의 향후 내비게이션 이동은 평가시에, 예컨대 차량이 상기 선택한 내비게이션 루트를 따라 이동할 것이라 예상되는 나이트-뷰 이미지의 영역에 더 큰 우선권을 할당함으로써 예상될 수 있다.
도 3은 상기한 원리에 따라 동작하는 나이트-뷰 시스템(10)을 개략적으로 표현하는 블록도이다. 도시한 바와 같이, 나이트-뷰 시스템(10)은 전자기 스펙트럼의 원적외선 영역 및/또는 근적외선 영역에서 동작하는 것이 바람직한 나이트-뷰 센서(12), 비디오 처리 장치(14) 및 디스플레이 장치(20)를 포함한다. 나이트-뷰 센서(12)는 나이트-뷰 이미지를 나타내는 비디오 신호를 비디오 처리 장치(14)에 제공한다. 또한, 나이트-뷰 이미지를 나타내는 비디오 신호는 디스플레이 장치(20)에 제공된다. 디스플레이 장치(20)는 이미지를 차량의 윈드스크린 위로 투사하는 소위 헤드업 디스플레이일 수 있다.
또한, 나이트-뷰 시스템(10)은, 정보 신호를 수신하기 위해 내비게이션 장치(15)에 연결되어 있는 데이터 처리 장치(13)를 포함한다. 내비게이션 장치(15)로부터 수신된 정보 신호는 차량이 이동하는 도로의 코스에 대한 차량의 상대적 위치 정보와, 상기 도로의 코스의 높이 정보와, 상기 도로 코스 중의 교차점 존재에 대한 정보와, 상기 도로의 폭에 대한 정보와, 차량의 자세에 대한 정보와, 내비게이션 장치(15)에 저장되어 있는 사용자가 선택한 내비게이션 루트에 대한 정보를 포함한다. 내비게이션 장치(15)는 나이트-뷰 시스템(10)의 한 구성 요소일 수도 있고, 또는 외장형 구성 요소, 예컨대 차량의 내비게이션 시스템 또는 휴대형 내비게이션 시스템의 일 부품일 수 있다.
내비게이션 장치(15)는, 디지털 맵 표현에서 차량의 위치를 정확하게 결정할 수 있도록 해주는 위성 내비게이션 기능, 예컨대 GPS 기능을 포함하는 것이 바람직하다. 상기 디지털 맵 표현은 내비게이션 장치(15)의 적당한 저장 장치, 예컨대 하드 디스크 장치, CD-ROM 장치, DVD 장치 또는 다른 적당한 메모리 장치에 저장된다. 상기 디지털 맵 표현은 도로 코스에 대한 상기 정보, 특히 십자로 또는 교차점의 존재에 대한 정보, 높이 정보 및 도로의 폭에 대한 정보를 포함한다. 내비게이션 장치(15)는 자이로스코프 장치(gyroscopic device)와 같은 방위 및 자세 센서도 포함하는데, 이들 센서는 차량의 방위 및 자세에 대한 정보를 제공한다.
상기 정보 신호는 데이터 처리 장치(13)에 의해 수신되고, 나이트-뷰 센서(12)에 의해 제공되는 나이트-뷰 이미지를 처리할 때 적절히 조절되어 사용되도록 처리된다. 데이터 처리 장치(13)로부터, 대응하는 조절된 정보 신호가 비디오 처리 장치(14)로 제공되는데, 상기 비디오 처리 장치는 나이트-뷰 센서(12)로부터 비디오 신호도 수신한다. 비디오 처리 신호(14)는, 내비게이션 장치(15)에 의해 제공되는 정보를 고려하고 데이터 처리 장치(13)에 의해 조절된 나이트-뷰 이미지에 대한 본질적인 평가를 수행한다. 출력으로서, 비디오 처리 장치(14)는 상기 검출된 도로 코스를 나타내는 신호를 제공하는데, 이 신호는 나이트-뷰 이미지와 함께 표시되도록 디스플레이 장치(20)에 공급된다.
디스플레이 장치에 있어서, 나이트-뷰 센서(12)에 의해 제공된 나이트-뷰 이미지와 비디오 처리 장치(14)에 의해 제공되는 상기 검출된 도로 코스는 겹쳐져서 하나의 이미지 표현을 생성하는데, 이는 베어(bare) 나이트-뷰 이미지와 비교하여 현저히 개선된 방위를 제공한다.
한 가지 실시예에 있어서, 디스플레이 장치(20)는 내비게이션 장치(15) 및 나이트-뷰 시스템(10)에 의해 공통적으로 사용되는 다목적 디스플레이로서 구성된다. 즉, 디스플레이 장치(20)는 운전자 지시 사항 또는 교통 정보와 같은 내비게이션 정보를 표시하기 위하여 내비게이션 장치(15)로부터 직접 입력 신호를 수신한다. 이러한 공통의 디스플레이 장치에 의하여, 차량에 복수의 디스플레이를 제공할 필요가 없어, 하드웨어 요구 조건을 감소시킬 수 있고 운전자의 안도감을 증대시킬 수 있다.
한 가지 실시예에 따르면, 비디오 처리 장치(14)는 또한 추가의 이미지 분석 기능을 수행한다. 특히, 나이트-뷰 이미지는 상기 검출된 도로 코스 상에 있는 또 는 그 코스 부근에 있는 물체를 식별하기 위하여 분석될 수 있다. 예컨대, 이러한 물체는 동물, 사람 또는 다른 차량일 수 있다. 이러한 물체와의 충돌 위험을 감소시키기 위하여, 상기 비디오 처리 장치는 이러한 물체가 검출된다면 경고를 일으킨다. 한 가지 실시예에서, 상기 경고는 표시된 나이트-뷰 이미지에서 상기 검출된 물체에 하이라이트를 주고, 및/또는 음향 경고를 제공하는 것을 포함할 수 있다. 후자의 목적을 위해, 상기 나이트-뷰 시스템은 음향 경고를 출력하는 라우드스피커 장치(30)에 연결된다. 라우드스피커 장치(30)는 나이트-뷰 시스템(10)의 일 구성 요소일 수 있고, 또는 별도의 구성 요소, 예컨대 차량 엔터테인먼트 시스템의 부품일 수 있다. 라우드스피커 장치(30)는 또한 상기 내비게이션 정보의 음향 출력을 위해 사용될 수도 있다.
도시된 바와 같이, 나이트-뷰 시스템(10)의 핵심적인 구성 요소는 데이터 처리 장치(13)와, 비디오 처리 장치(14)와, 나이트-뷰 센서(12) 및 디스플레이 장치(20)이다. 그러나, 이들 구성 요소가 나이트-뷰 시스템(10)에 특별히 전용으로 제공될 필요는 없다. 대신에, 이들은 다른 차량 시스템, 예컨대 내비게이션 시스템, 엔터테인먼트 시스템, 안전 시스템 또는 멀티미디어 시스템에 의해 공통적으로 사용될 수 있다. 즉, 나이트-뷰 시스템(10)은 다른 차량 시스템과 통합되어, 하드웨어 경비 및 관련 비용을 절감할 수 있다.
또한, 데이터 처리 장치(13)와 비디오 처리 장치(14)는 실제 하나의 마이크 로프로세서에 의해 구현될 수 있다는 점을 이해하여야 한다. 상기 하나의 마이크로프로세서는 또한, 내비게이션 장치(15)의 처리 업무를 수행하는 데에 사용될 수도 있다.
도 4는 상기한 원리에 따라 나이트-뷰 시스템을 동작시키는 방법을 개략적으로 보여주는 흐름도이다. 이미 언급한 바와 같이, 상기 방법은, 차량이 이동하는 도로의 코스를 검출하기 위하여 나이트-뷰 이미지를 처리하는 것을 포함하는데, 이러한 처리는 내비게이션 장치(15)에 의해 제공되는 도로 코스에 대한 정보를 고려하여 달성된다.
단계(110)에서, 비디오 이미지, 즉 차량 환경의 나이트-뷰 이미지가 제공된다. 상기 이미지는 차량이 이동하는 방향의 차량의 전방 영역을 포괄하는 것이 바람직한데, 그 영역은 운전자와 특히 관련되기 때문이다. 물론, 차량 후방 영역 또는 차량의 좌우 영역의 이미지를 제공하는 것도 가능하다. 바람직하게는, 상기 이미지는 원적외선 영역, 근적외선 영역 또는 이들의 조합 영역에 기록된다. 상기 비디오 이미지는 실제로, 실시간으로 기록되어 처리되는 일련의 이미지를 포함한다.
단계(120)에서, 내비게이션 장치로부터 정보가 검색되는데, 이는 차량이 이동하는 도로의 코스에 관한 것이다. 상기 정보는 상기 도로의 코스에 대한 차량의 상대적 위치의 정보, 상기 도로 코스에 교차점 존재에 대한 정보, 도로의 폭에 대한 정보, 도로 코스의 높이 정보를 포함한다. 또한, 상기 정보는 차량의 자세 및 방위에 대한 데이터 및/또는 사용자가 선택한 내비게이션 루트에 대한 정보를 포함한다. 상기 검색된 정보는 상기 비디오 이미지를 처리하는 데에 사용하기 위하여 조절된다.
단계(130)에서, 상기 비디오 이미지에 대한 초기 처리가 수행되는데, 이는 본질적으로 콘트라스트 정보에 기초한다. 이 단계에서, 상기 내비게이션 장치로부터 검색된 정보는 도 2A 및 도 2B와 관련하여 설명한 평가 윈도를 적절히 조정하고 위치 설정함으로써 고려된다.
단계(140)에서, 상기 도로에 대한 예상 코스가 상기 내비게이션 장치로부터 검색된 정보에 기초하여 계산된다. 상기 계산은 기하 광학(geometric optics) 및 나이트-뷰 센서의 시야 분야의 일반적인 원리에 기초한다. 상기 예상된 도로 코스는 상기 초기 처리에서 식별된 구조와 매치되어 비교된다. 특히, 단계(130)에서 식별된 도로 엣지는 계산된 예상 도로 엣지와 정렬될 수 있다.
또한, 상기 평가 윈도는 조정 및/또는 재위치되고, 콘트라스트 정보에 기초한 상기 비디오 이미지에 대한 정제된 처리(refined processing)가 상기 초기 처리의 결과를 확인하고 보충하기 위하여 행해진다. 검출된 도로 코스가 상기 초기 처 리 및 정제된 처리의 결과에 기초하여 출력된다. 상기 초기 및 정제된 처리에서 어떠한 구조도 식별할 수 없는 경우에도, 상기 예상된 도로 코스에 기초하여 도로 코스를 출력할 수 있다.
단계(150)에서, 상기 비디오 이미지 및 상기 검출된 도로 코스가 운전자에게 표시된다. 바람직하게는, 상기 검출된 도로 코스는 방위를 용이하게 하기 위하여, 예컨대 헤드업 디스플레이를 이용하여 상기 비디오 이미지에 겹쳐진다.
한 가지 실시예에 따르면, 단계(120-140)에서, 상기 비디오 이미지는 또한 상기 도로 코스 상에 있거나 그 부근에 있는 물체를 식별하기 위해 처리된다. 이 경우에, 상기 검출된 물체는 상기 표시된 비디오 이미지에서 하이라이트처리 되거나, 및/또는 음향 경고가 제공된다.
단계(150) 이후에, 상기 방법은 상기 비디오 이미지 및 상기 검출된 도로 코스를 계속하여 평가 및 표시하기 위하여 반복된다. 이와 관련하여, 이전의 평가 사이클의 결과를 반복적으로 이용하는 것이 바람직하다.
상기 예시적인 실시예는 본 발명을 설명하기 위한 것이며, 본 발명은 상기 실시예에 한정되지 않는다는 것을 이해하여야 한다. 대신에, 본 발명의 범위 내에서 여러 가지 변형 및 수정이 가능하다. 예컨대, 나이트-뷰 센서의 종류 및/또는 내비게이션 장치의 종류는 특정 요구 사항에 따라 선택될 수 있다. 또한, 여러 가지 적당한 이미지 처리 기술을 채택하여 상기 방법에서 이용할 수 있다. 상기 내비게이션 장치는 나이트-뷰 시스템의 통합된 한 가지 구성 요소일 수 있고, 또는 별도의 구성 요소, 예컨대 종래의 내비게이션 시스템 또는 그 일부일 수 있다. 상기 내비게이션 장치는 위성 내비게이션 기능을 포함할 수 있다. 그러나, 디지털 맵 표현과 관련하여 차량의 위치를 결정할 수 있도록 해주는 다른 내비게이션 시스템을 이용할 수도 있다. 차량의 종류 및 다른 디자인 양태에 따라서 상이한 종류의 디스플레이 장치를 이용할 수 있다. 또한, 상기 나이트-뷰 시스템 및 내비게이션 장치는 차량의 멀티미디어 시스템에 통합될 수 있다.
요약하자면, 나이트-뷰 시스템의 신뢰성 및 정밀도를 현저하게 증대시키는 방법 및 시스템을 설명하였다. 이에 의해, 밤 또는 어둠에서 운전할 때, 또는 일반적으로 시야 조건이 나쁜 상태에서 운전할 때 운전자의 안도감 및 안전성이 현저하게 개선된다.
도 1은 차량에 탑재된 나이트-뷰 센서의 검출 범위를 비롯하여, 도로 상에서 이동하는 차량을 보여주는 개략도이다.
도 2A 및 도 2B는 차량이 이동하는 도로의 코스를 포함하는 비디오 이미지의 개략도로서, 상기 비디오 이미지는 나이트-뷰 센서에 의해 제공된다.
도 3은 본 발명의 한 가지 실시예에 다른 나이트-뷰 시스템을 개략적으로 보여주는 블록도이다.
도 4는 본 발명의 한 가지 실시예에 따른 나이트-뷰 시스템을 동작하는 방법을 개략적으로 보여주는 흐름도이다.
Claims (27)
- 차량 내의 나이트-뷰 시스템을 동작시키는 방법으로서,나이트-뷰 센서에 의해 차량 환경의 비디오 이미지를 제공하고;상기 차량이 이동하는 도로의 코스에 대한 정보를 내비게이션 장치로부터 검색하며;상기 내비게이션 장치로부터 검색된 정보를 고려하여, 상기 비디오 이미지를 처리하여, 도로의 코스를 검출하고;상기 비디오 이미지 및 상기 검출된 도로 코스를 디스플레이 장치에 표시하는 것을 포함하는 방법.
- 청구항 1에 있어서, 상기 도로 코스 상에 있거나 그 부근에 있는 물체를 검출하기 위하여 상기 비디오 이미지를 처리하고,상기 도로 코스 상에서 또는 그 부근에서 물체가 검출되는 경우 차량 이용자에게 경고를 제공하는 것을 포함하는 방법.
- 청구항 2에 있어서, 상기 경고는 상기 디스플레이 장치 상에서의 광신호에 의해 제공되는 것인 방법.
- 청구항 2에 있어서, 상기 경고는 음향 신호에 의해 제공되는 것인 방법.
- 청구항 1에 있어서, 상기 비디오 이미지를 처리하는 것은 상기 비디오 이미지 중의 도로의 엣지를 식별하는 것을 포함하는 것인 방법.
- 청구항 1에 있어서, 상기 내비게이션 장치로부터 검색되는 상기 정보는 상기 도로 코스에 대한 차량의 상대적인 위치에 대한 정보를 포함하는 것인 방법.
- 청구항 1에 있어서, 상기 내비게이션 장치로부터 검색되는 상기 정보는 상기 도로 코스의 높이 정보를 포함하는 것인 방법.
- 청구항 1에 있어서, 상기 내비게이션 장치로부터 검색되는 상기 정보는 상기 도로 코스 중에 십자로 또는 교차점의 존재에 대한 정보를 포함하는 것인 정보.
- 청구항 1에 있어서, 상기 내비게이션 장치로부터 검색되는 상기 정보는 상기 도로의 폭에 대한 정보를 포함하는 것인 정보.
- 청구항 1에 있어서, 상기 내비게이션 장치로부터 검색되는 상기 정보는 사용자가 선택한 내비게이션 루트에 대한 정보를 포함하는 것인 정보.
- 청구항 1에 있어서, 콘트라스트 정보에 기초하여 상기 도로 코스를 검출하기 위해 상기 비디오 이미지를 처리하고,상기 검출된 도로 코스를 상기 내비게이션 장치로부터 수신한 정보에 기초하여 계산되는 도로의 예상 코스와 매치시키는 것을 포함하는 방법.
- 청구항 1에 있어서, 상기 비디오 이미지를 처리하는 것은 상기 비디오 이미지의 일부를 형성하는 평가 윈도를 이용하는 것을 포함하는 것인 방법.
- 청구항 12에 있어서, 상기 내비게이션 장치로부터 검색되는 정보에 기초하여 상기 평가 윈도를 조정하는 것을 포함하는 방법.
- 청구항 13에 있어서, 상기 평가 윈도를 조정하는 것은 상기 평가 윈도의 갯수와, 상기 평가 윈도의 크기 또는 상기 평가 윈도의 위치를 조정하는 것을 포함하는 것인 방법.
- 청구항 1에 있어서, 상기 디스플레이 장치 상에 상기 내비게이션 장치의 정보를 표시하는 것을 포함하는 방법.
- 청구항 1에 있어서, 상기 검출된 도로 코스는 상기 비디오 이미지 상에 겹쳐지는 것인 방법.
- 차량 환경의 비디오 이미지를 제공하는 나이트-뷰 센서와;상기 나이트-뷰 센서와 연결되어 나이트-뷰 이미지를 수신하고, 내비게이션 장치에 연결되어 차량이 이동하는 도로의 코스에 대한 정보를 수신하는 비디오 처리 장치로서, 상기 내비게이션 장치로부터 수신되는 정보를 고려하여 상기 비디오 이미지를 처리하여 상기 도로 코스를 검출하도록 구성되는 것인 비디오 처리 장치와;상기 비디오 이미지와 상기 검출된 도로 코스를 표시하는 디스플레이 장치를 포함하는 나이트-뷰 시스템.
- 청구항 17에 있어서, 상기 내비게이션 장치로부터 상기 도로 코스에 대한 정보를 검색하도록 구성된 데이터 처리 장치를 포함하는 나이트-뷰 시스템.
- 청구항 17에 있어서, 상기 나이트-뷰 시스템은 상기 내비게이션 장치를 포함하는 것인 나이트-뷰 시스템.
- 청구항 19에 있어서, 상기 내비게이션 장치는 위성 내비게이션 기능을 포함하는 것인 나이트-뷰 시스템.
- 청구항 19에 있어서, 상기 내비게이션 장치는 상기 도로 코스에 대한 정보를 포함하는 디지털 맵 표현을 저장하기 위한 저장 장치를 포함하는 것인 나이트-뷰 시스템.
- 청구항 17에 있어서, 상기 나이트-뷰 센서는 전자기 스펙트럼의 원적외선 범위에서 동작하는 것인 나이트-뷰 시스템.
- 청구항 17에 있어서, 상기 나이트-뷰 센서는 전자기 스펙트럼의 근적외선 범위에서 동작하는 것인 나이트-뷰 시스템.
- 청구항 17에 있어서, 상기 디스플레이 장치는 헤드업 디스플레이를 포함하는 것인 나이트-뷰 시스템.
- 청구항 17에 있어서, 차량 사용자에게 경고를 제공하기 위한 음향 출력 장치를 포함하는 나이트-뷰 시스템.
- 나이트-뷰 시스템을 포함하는 자동차로서,상기 나이트-뷰 시스템은,차량 환경의 비디오 이미지를 제공하는 나이트-뷰 센서와;상기 나이트-뷰 센서와 연결되어 나이트-뷰 이미지를 수신하고, 내비게이션 장치에 연결되어 상기 자동차가 이동하는 도로의 코스에 대한 정보를 수신하는 비디오 처리 장치로서, 상기 내비게이션 장치로부터 수신되는 정보를 고려하여 상기 비디오 이미지를 처리하여 상기 도로 코스를 검출하도록 구성되는 것인 비디오 처리 장치와;상기 비디오 이미지와 상기 검출된 도로 코스를 표시하는 디스플레이 장치를 포함하는 것인 자동차.
- 청구항 26에 있어서, 내비게이션 시스템을 더 포함하고, 상기 디스플레이 장치는 상기 나이트-뷰 시스템과 내비게이션 시스템의 공통의 디스플레이 장치인 자동차.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP06018338.1 | 2006-09-01 | ||
| EP06018338A EP1894779B1 (en) | 2006-09-01 | 2006-09-01 | Method of operating a night-view system in a vehicle and corresponding night-view system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080020956A true KR20080020956A (ko) | 2008-03-06 |
| KR101433837B1 KR101433837B1 (ko) | 2014-08-27 |
Family
ID=37731375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070088032A KR101433837B1 (ko) | 2006-09-01 | 2007-08-31 | 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1894779B1 (ko) |
| JP (1) | JP5537769B2 (ko) |
| KR (1) | KR101433837B1 (ko) |
| CN (1) | CN101135570B (ko) |
| AT (1) | ATE449703T1 (ko) |
| CA (1) | CA2598165C (ko) |
| DE (1) | DE602006010699D1 (ko) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100253595A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Virtual controls and displays by laser projection |
| US10169822B2 (en) | 2011-12-02 | 2019-01-01 | Spireon, Inc. | Insurance rate optimization through driver behavior monitoring |
| US8510200B2 (en) | 2011-12-02 | 2013-08-13 | Spireon, Inc. | Geospatial data based assessment of driver behavior |
| CN103182985B (zh) * | 2011-12-27 | 2016-08-17 | 大陆汽车电子(长春)有限公司 | 利用图像处理装置的车辆安全装置和车辆安全控制方法 |
| JP5464219B2 (ja) * | 2012-02-03 | 2014-04-09 | 株式会社デンソー | 車両用ヘッドアップディスプレイ装置 |
| JP5464222B2 (ja) * | 2012-02-08 | 2014-04-09 | 株式会社デンソー | 車両用ヘッドアップディスプレイ装置 |
| CN104583841B (zh) * | 2012-08-14 | 2017-12-05 | 诺基亚技术有限公司 | 低光视觉辅助 |
| US9779379B2 (en) | 2012-11-05 | 2017-10-03 | Spireon, Inc. | Container verification through an electrical receptacle and plug associated with a container and a transport vehicle of an intermodal freight transport system |
| US8933802B2 (en) | 2012-11-05 | 2015-01-13 | Spireon, Inc. | Switch and actuator coupling in a chassis of a container associated with an intermodal freight transport system |
| US9779449B2 (en) | 2013-08-30 | 2017-10-03 | Spireon, Inc. | Veracity determination through comparison of a geospatial location of a vehicle with a provided data |
| US20150186991A1 (en) | 2013-12-31 | 2015-07-02 | David M. Meyer | Creditor alert when a vehicle enters an impound lot |
| US9551788B2 (en) | 2015-03-24 | 2017-01-24 | Jim Epler | Fleet pan to provide measurement and location of a stored transport item while maximizing space in an interior cavity of a trailer |
| CN111993992A (zh) * | 2015-04-10 | 2020-11-27 | 麦克赛尔株式会社 | 投射型显示装置 |
| CN106403963A (zh) * | 2016-08-19 | 2017-02-15 | 东风汽车公司 | 一种实现车载实景导航的夜视系统 |
| DE102018216984A1 (de) * | 2018-10-04 | 2020-04-09 | Robert Bosch Gmbh | Umfelderfassungssystem für Kraftfahrzeuge |
| WO2020126396A1 (en) * | 2018-12-17 | 2020-06-25 | Orlaco Products B.V. | Camera mirror system with ir led night vision system |
| CN111460865B (zh) * | 2019-01-22 | 2024-03-05 | 斑马智行网络(香港)有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
| CN110356395A (zh) * | 2019-06-25 | 2019-10-22 | 武汉格罗夫氢能汽车有限公司 | 一种车辆车道保持方法、设备及存储设备 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08253059A (ja) * | 1995-03-17 | 1996-10-01 | Honda Motor Co Ltd | 車両用運転支援システム |
| JPH08263784A (ja) * | 1995-03-23 | 1996-10-11 | Honda Motor Co Ltd | 道路状況認識装置 |
| FR2785434B1 (fr) * | 1998-11-03 | 2003-05-16 | Renault | Procede d'aide a la conduite d'un vehicule et dispositif de mise en oeuvre |
| JP3864406B2 (ja) * | 1999-01-26 | 2006-12-27 | マツダ株式会社 | 車両の表示装置 |
| JP2001101596A (ja) * | 1999-09-27 | 2001-04-13 | Mazda Motor Corp | 車両の表示装置 |
| DE19950033B4 (de) * | 1999-10-16 | 2005-03-03 | Bayerische Motoren Werke Ag | Kameravorrichtung für Fahrzeuge |
| US6977630B1 (en) * | 2000-07-18 | 2005-12-20 | University Of Minnesota | Mobility assist device |
| JP3883033B2 (ja) * | 2000-08-03 | 2007-02-21 | マツダ株式会社 | 車両用表示装置 |
| CN1540286A (zh) * | 2003-04-25 | 2004-10-27 | 王舜清 | 多功能实时交通安全管理装置及方法 |
| CN1458014A (zh) * | 2003-05-30 | 2003-11-26 | 陈湘云 | 车载夜视辅助装置 |
| JP2005157731A (ja) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | 車線認識装置および車線認識方法 |
| DE102004036566A1 (de) * | 2004-07-28 | 2006-03-23 | Robert Bosch Gmbh | Nachtsichtgerät |
| CN1664620A (zh) * | 2005-04-04 | 2005-09-07 | 戴宏 | 一种机动车、船夜视装置 |
| JP2007011994A (ja) * | 2005-07-04 | 2007-01-18 | Toyota Motor Corp | 道路認識装置 |
-
2006
- 2006-09-01 DE DE602006010699T patent/DE602006010699D1/de active Active
- 2006-09-01 AT AT06018338T patent/ATE449703T1/de not_active IP Right Cessation
- 2006-09-01 EP EP06018338A patent/EP1894779B1/en active Active
-
2007
- 2007-08-21 CA CA2598165A patent/CA2598165C/en active Active
- 2007-08-30 JP JP2007223713A patent/JP5537769B2/ja active Active
- 2007-08-31 CN CN2007101478699A patent/CN101135570B/zh active Active
- 2007-08-31 KR KR1020070088032A patent/KR101433837B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| CN101135570A (zh) | 2008-03-05 |
| CN101135570B (zh) | 2013-05-08 |
| ATE449703T1 (de) | 2009-12-15 |
| JP2008056233A (ja) | 2008-03-13 |
| EP1894779A1 (en) | 2008-03-05 |
| CA2598165A1 (en) | 2008-03-01 |
| DE602006010699D1 (de) | 2010-01-07 |
| EP1894779B1 (en) | 2009-11-25 |
| KR101433837B1 (ko) | 2014-08-27 |
| JP5537769B2 (ja) | 2014-07-02 |
| CA2598165C (en) | 2011-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101433837B1 (ko) | 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템 | |
| US10733462B2 (en) | Travel assistance device and computer program | |
| US8354944B2 (en) | Night vision device | |
| US8195386B2 (en) | Movable-body navigation information display method and movable-body navigation information display unit | |
| CN107176165B (zh) | 车辆的控制装置 | |
| US9723243B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
| US8089512B2 (en) | Driving support device, driving support method and computer program | |
| JP4882285B2 (ja) | 車両用走行支援装置 | |
| JP6834704B2 (ja) | 走行支援装置及びコンピュータプログラム | |
| US11511627B2 (en) | Display device and computer program | |
| US20070233370A1 (en) | Navigation system | |
| EP2928182B1 (en) | Onboard image processing system | |
| CN107848416A (zh) | 显示控制装置、显示装置及显示控制方法 | |
| US11525694B2 (en) | Superimposed-image display device and computer program | |
| JP2008280026A (ja) | 運転支援装置 | |
| JP2008222153A (ja) | 合流支援装置 | |
| KR102130059B1 (ko) | 디지털 백미러 제어 유닛 및 방법 | |
| JP2005202787A (ja) | 車両用表示装置 | |
| JP5212920B2 (ja) | 車両用表示装置 | |
| US11967007B2 (en) | Vehicle surroundings information displaying system and vehicle surroundings information displaying method | |
| JP2006273190A (ja) | 車載用ナビゲーション装置 | |
| US10864856B2 (en) | Mobile body surroundings display method and mobile body surroundings display apparatus | |
| JP7253708B2 (ja) | 情報処理装置、車両及び情報処理方法 | |
| WO2020230418A1 (ja) | 表示装置 | |
| JP2020163942A (ja) | 表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170811 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180801 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190801 Year of fee payment: 6 |