KR20050103194A - 적외선 및 비주얼 이미지의 주변 환경에 따른 융합을이용하여 차량 주변을 비주얼화하는 방법 및 장치 - Google Patents

적외선 및 비주얼 이미지의 주변 환경에 따른 융합을이용하여 차량 주변을 비주얼화하는 방법 및 장치 Download PDF

Info

Publication number
KR20050103194A
KR20050103194A KR1020057012503A KR20057012503A KR20050103194A KR 20050103194 A KR20050103194 A KR 20050103194A KR 1020057012503 A KR1020057012503 A KR 1020057012503A KR 20057012503 A KR20057012503 A KR 20057012503A KR 20050103194 A KR20050103194 A KR 20050103194A
Authority
KR
South Korea
Prior art keywords
image
vehicle
infrared
visual
camera
Prior art date
Application number
KR1020057012503A
Other languages
English (en)
Inventor
볼프강 한
토마스 베이드네르
Original Assignee
바이에리셰 모토렌 베르케 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이에리셰 모토렌 베르케 악티엔게젤샤프트 filed Critical 바이에리셰 모토렌 베르케 악티엔게젤샤프트
Publication of KR20050103194A publication Critical patent/KR20050103194A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량 환경을 가시화하기 위한 방법에 관한 것으로서, 특히 어두울 때 차량 환경을 가시화하기 위한 방법에 관한 것이다. 공지된 방법들에 대한 개선을 얻고자, 융합 이미지를 위해 가시 이미지와 적외선 이미지로부터 국부적으로 동일한, 동시적인 이미지 쌍들의 가중 중합이 실행된다. 추가적인 개선을 위해, 가중화는 환경에 관련된다. 그 결과, 가중화는 어두울 때 높으며, 융합 이미지에서 가시 정보보다 적외선 정보가 훨씬 더 크게 가중된다. 안개 분위기에서, 가시 정보는 적외선 정보보다 훨씬 크게 가중화되며, 이에 따라, 안개가 깔렸을 때 도움이 덜되는 경우가 많은 적외선 정보는 융합 이미지에서 크게 고려되지 않는다. 상기 방법을 실행하는 데 사용되는 장치는 칼라-감지 가시 카메라(101), 적외선 카메라(102), 그리고 융합 또는 중첩 장치(106)를 포함한다. 상기 융합 또는 중첩 장치(106)는 화소 단위로, 또는 부분적으로 국부적으로 동일한 동시 이미지 쌍들을 중첩시키고, 평균 값들을 형성한다.

Description

적외선 및 비주얼 이미지의 주변 환경에 따른 융합을 이용하여 차량 주변을 비주얼화하는 방법 및 장치{METHOD AND DEVICE FOR VISUALIZING A MOTOR VEHICLE ENVIRONMENT WITH ENVIRONMENT-DEPENDENT FUSION OF AN INFRARED IMAGE AND A VISUAL IMAGE}
본 발명은 차량 주변을 비주얼화하는 방법 및 장치와 해당하는 독립 청구범위의 전제부에 따른 장치의 보정을 위한 보정장치에 관한 것이다.
DE 695 06 174 T2 에 차량용 점검 시스템이 공지되어 있다. 상기 시스템은 차량 주변 섹션의, 사람이나 대상물로부터 나오는 열 방사를 나타내는 적외선 이미지를 만드는 적외선 카메라를 구비한다. 적외선 이미지는 전방시현장치(Head-up-Display)에 의해 윈드실드의 하부에 투사되고 그것으로서 운전자에게 비주얼화된다.
운전자 앞에 놓인, 윈드실드에 의해 시각적으로 감지될 수 있는 교통 상황에 대한 적외선 이미지에서 사람 및 사물의 할당은 운전자에 의해 실행된다. 이것은 특히 공지된 시스템이 계획되어야 하는 어두운 경우, 어렵고 종종 심지어는 불가능하다. 왜냐하면, 적외선 이미지는 운전자가 시각적으로 인식할 수 없는 사람 및 사물을 보여주기 때문이다. 따라서 적외선 이미지에서 인식할 수 있는 사람과 사물의 정확한 위치 결정은 규칙적으로는 불가능하므로 운전자에게 위험하게 주의를 분산시킨다.
도 1은 비주얼화를 위한 본 발명에 따른 방법을 설명하는, 차량 주변의 컷 아웃을 비주얼화하기 위한 본 발명에 따른 장치의 블록 회로도 또는 점검 시스템.
본 발명의 목적은 특히 개선된 점검 시스템과 같이 차량 주변의 비주얼화를 위한 개선된 방법 및 장치를 제공하는 것이다.
본 발명의 목적은 상응하는 독립 청구범위를 통해 방법 및 장치에 의해 달성된다. 본 발명의 바람직한 형성은 해당하는 독립 청구범위에 제시된다.
본 발명의 제 1 양상은 이하에서 비주얼 이미지라고 칭하는 시각적인 이미지와 차량 주변의 지속적으로 동일한 컷아웃의, 하기에서 적외선 이미지라고 칭하는 적외선에 의한 이미지의 조합 또는 중첩을 디스플레이하거나 또는 비주얼화하는데 있다. 동일한 장면의 상이한 스펙트럼 범위의 이러한 이미지 중첩과 융합에 의해 앞에 설명된 선행기술의 단점이 극복된다.
제 2 양상은 각각의 비주얼 이미지 및 적외선 이미지의 융합시 두 개의 스펙트럼 부분(비주얼 부분과 적외선 부분)이 구체적인 주행 상황에 따라 서로 비교하여 가중치를 부여하는 데 있다. 가중치 적용의 제 1 극단적인 경우에 융합에 의해 생성된 이미지는 전반적으로 비주얼 정보만을 갖고, 통상적인 경우 비주얼 및 적외선 정보로부터 중첩과 가중치를 부여하는 제 2 극단적인 경우 융합에 의해 생성된 이미지는 전반적으로 적외선 정보만을 갖는다.
예컨대 도로 위에서 거리 측정 시스템에 의해, 예컨대 공지된 레이더방지된 ACC 시스템(Automatic cruise control)에 의해 전방 차량이 인식되면, 본 발명의 실시예에서 상기 차량은 차량 주변에 대한 두 개의 스펙트럼 부분의 융합시 두드러지게 되고, 따라서 상기 차량은 주변에 대한 융합 이미지에 두드러지게 나타난다. 이것은 예컨대 차량 주변에 대한 인접한 영역을 위한 두 개의 스펙트럼 부분의 가중치를 주는 것이 변화됨으로써 이루어진다. 즉 본 실시예에서는 바로 전방의 차량을 나타내는 융합 이미지의 동일한 이미지 부분. 낮에는 예컨대 적외선 정보에 대한 비주얼 정보가 보다 높게 가중치를 부여하고 융합 이미지에서 더욱 효과적일 수 있는 한편, 어두운 경우에는 곧 반대 방향으로 가중치를 부여한다.
차량이 조명이 잘 비추어진 영역을 주행하는 경우 본 발명의 다른 실시예에서는 대안으로서 또는 보완적으로 적외선 부분 또는 정보에 대한 비주얼 부분 또는 비주얼 정보가 더 높게 가중치를 부여하도록 만든다. 어두운 도로 및/또는 고속도로에서 가중치 부여는 앞에 언급된 반대 방향에 대한 대안으로서 또는 보완적으로 실행되므로, 적외선 정보 또는 적외선 부분이 비주얼 부분에 대한 융합 이미지에 나타난다.
대안으로서 또는 보완적으로 본 발명의 다른 실시예에서 어두운 도로 및/또는 고속도로에서 더 멀리 떨어진 사물의 적외선 정보가 상기 사물의 비주얼 정보에 대해 - 차량으로부터 덜 멀리 떨어진 사물과 달리 - 융합시 상기 정보의 보다 높은 가중치를 부여하는 것이 나타나도록 한다. 경우에 따라서 운전자에게 디스플레이에 제공되는 융합 이미지는 인접 영역에서는 비주얼 이미지에 대한 더 많은 부분을 포함할 수 있고, 멀리 떨어진 영역에서는 적외선 정보에 대한 더 많은 부분을 포함할 수 있다.
우천, 안개 또는 습한 주행로의 경우 적외선 채널 또는 적외선 정보의 이용이 정상 조건에 비하여 제한된다. 융합 이미지의 악화가 상기 기상 조건에서 경우에 따라서 제한적으로 사용할 수 있는 적외선 정보를 통해 저지하기 위해 대안으로서 또는 보완적으로 비주얼 부분이 적외선 부분에 비하여 높아지도록, 즉 융합 이미지에서 두 개의 스펙트럼 부분의 가중치 부여가 비주얼 정보 방향으로 적절하게 변경되도록 한다.
언급된 기상 조건을 검출하기 위해 특히 레인 센서 또는 안개 센서가 차량에 제공될 수 있다. 또한, 특히 연무 서치 라이터와 같이 어떤 차량 조명장치가 스위치 온 되는지가 평가될 수 있다. 그러나 이러한 정보는 차량에 제공된 다이내믹 네비게이션 장치에 의해 전달될 수 있고, 상기 장치로 차량의 현재 위치에 대한 또는 특히 계획된 주행 루트를 위해 예측하여 다이내믹한 교통 또는 기후 조건이 전송될 수 있다. 이러한 전송은 이동 무선 통신 네트워크를 통해 또는 차량 대 차량의 통신에 의해 이루어질 수 있다.
대안으로서 또는 보완적으로 본 발명의 실시예에서 운전자는 융합 이미지의 두 개의 스펙트럼 부분의 가중치 부여를 수동적으로 조절하고 그 필요성 및 상황에 맞게 최적으로 조정할 수 있다. 비주얼 정보에서 적외선 정보로의 계속적인 전이 및 그 반대의 전이는 본 발명의 실시예에 제공된다. 이것은 운전자가 비주얼 및 적외선 정보 사이의 관계 및 스펙트럼 부분들 간의 이동에 의한 차량 주변의 융합 이미지에 미치는 작용을 교통 상황의 보다 신속하고 믿을 수 있는 검출 방식으로 용이하고 신속하게 효과적으로 사용할 수 있도록 한다.
다른 실시예에서 대안으로서 또는 보완적으로 운전자에 적합하게 보이는 융합 이미지를 선택하기 위한 다수의 융합 이미지가 운전자에게 제공되고, 선택을 위해 제공된 융합 이미지는 적외선 정보 대 비주얼 정보 비율로 차이를 갖는다. 특히 융합시 적외선 부분에 대한 비주얼 부분의 상이한 가중치 부여가 실행될 수 있다.
본 발명에 따른 점검 시스템의 구체적인 실시예에서 비주얼 카메라 또는 제 1 센서 또는 상기 카메라의 대물 렌즈 및 적외선 카메라 또는 제 2 광학 센서 또는 상기 카메라의 대물 렌즈는 공간적으로 서로 오프셋된 제 2 광학 축선을 갖는다. 따라서 카메라 또는 센서는 차량 주변의 적어도 부분적으로 상이한 컷아웃, 즉 제 1 및 제 2 컷아웃을 감지한다. 또한 상기 부분들은 거리의존적이다. 본 발명에 따라, 감도가 상이한 파장을 커버하는 2개 이상의 적외선 카메라 또는 적외선 센서가 제공되고 상기 카메라에 의해 전송된 차량 주변의 디지털 이미지는 중첩될 수 있고 또는 융합될 수 있다.
전반적으로 왜곡 없는 융합 이미지를 운전자에게 보여주기 위해 본 발명의 실시예에서 넓은 제 1 컷아웃과 넓은 제 2 컷아웃은 완전히 또는 부분적으로 중첩 또는 융합 장치에 의해 픽셀 및/또는 부분적으로 중첩 또는 융합될 수 있도록 한다. 융합 이미지를 제공하기 위해 제 1 컷 아웃 및/또는 제 2 컷 아웃 및/또는 융합 이미지 또는 상기 이미지들의 직접 또는 가공된 디지털 데이터들은 적어도 하나의 조정 파라미터에 의해 조정된다.
상기 거리 의존적인 파라미터(들)는 바람직하게 본 발명에 따른 카메라 또는 센서 장치 또는 적어도 두 개의 거리 범위 또는 상기 카메라 또는 센서와 보정 장치 사이의 간격 범위용 점검 시스템의 보정시 결정된다. 이미지의 중첩 또는 융합시 나타나는 해당 거리 범위에 있는 사물의 융합 이미지가 왜곡을 갖지 않도록, 특히 이상 중복 이미지 또는 중복 이미지가 나타나지 않도록 상기 조정 파라미터(들)를 조절하는 것이 주요 목적이다. 조정 파라미터(들)는 본 발명에 따라 특히 적어도 하나의 기록 또는 변형 파라미터이다. 유사한 파라미터는 예를 들어 디지털 이미지 처리 장치의 기록 및 그것에 의해 실행된, 두 개 이미지의 중첩으로부터 공지된다. 주행 상황 또는 거리 의존적인 조정 파라미터(들)는 바람직하게 보정시 차량의 데이터 메모리에 저장된다.
본 발명의 바람직한 실시예에서 제 1 거리 범위는 특히 거리 범위 약 15 내지 75 m 와 같은 도심 주행에 전형적인 주행 상황에 적합하다.
대안으로 또는 보완적으로 제 2 거리 범위는 특히 거리 범위 약 30 내지 150 와 같은 지방도로 주행에 전형적인 주행 상황에 적합하다.
대안적으로 또는 보완적으로 제 3 거리 범위는 특히 거리 범위 약 50 내지 250 m 와 같은 고속도 주행에 전형적인 주행 상황에 적합하다.
앞에 언급된 거리에 의존하거나 또는 거리 범위에 의존하는 조정 파라미터에 대한 대안으로서 또는 보완적으로 특히 전술된 목표를 갖는 다른 주행 상황에 의존하는 조정 파라미터가 결정될 수 있다. 이 경우에 그것은 예컨대 햇빛이 약하고, 안개, 어두워지고 있을 때 또는 어두울 때 주행에 적합한 조정 파라미터이다.
본 발명의 중요한 다른 양상은 차량의 현재 주행 상태가 자동으로 검출되고 현재 차량 상태에 적합한, 특히 보정에 의해 얻어져 차량에 저장된 조정 파라미터(들)가 본 발명에 따른 정렬 장치 또는 중첩 또는 융합 장치에 의해 사용될 수 있도록 제공되는 데 있다. 중첩 또는 융합 장치는 디지털 데이터 형태의 비주얼 이미지 및 적외선 이미지의 픽셀 및/또는 부분적으로 중첩 또는 융합 장치에 의해 구현되고, 하나 이상의 거리에 의존하는 조정 파라미터는 적외선 이미지 및/또는 비주얼 이미지 및/또는 융합 이미지를 바람직하게 전반적으로 왜곡 없는 및/또는 이상 중복 화면이 없는, 주변의 융합 이미지가 운전자에게 제공된다.
언급된 자동 결정에 대한 대안으로서 또는 보완적으로, 본 발명의 실시예에서 운전자는 자신에게 적합해 보이는 특히 보정에 의해 얻어져 차량 내에 저장된 조정 파라미터를 본 발명에 따른 정렬 장치 또는 중첩 또는 융합 장치에 의해 사용을 위해 선택한다. 따라서 운전자에게 예컨대 도심 주행, 지방도로, 고속도로에 전형적인 및/또는 경우에 따라서는 다른 주행 상황에 대한 조정 파라미터(들)가 선택을 위해 예컨대 수동 선택 방법의 형태로 또는 음성 입력기를 통해 제공될 수 있다. 이로써 운전자는 차량 내에 차량 네비게이션 장치가 탑재되지 않아도 거의 왜곡 없는 또는 중복 없는 융합 이미지가 나타날 수 있다. 또한, 이로써 운전자에게 경우에 따라는 자동 선택이 필요없는 방법도 제공된다. 또한, 차량 주변, 예를 들어 차량으로부터 약 20 m 까지의 거리를 왜곡 없이 융합 이미지로 나타내는 하나 이상의 조정 파라미터를 선택하는 방법이 운전자에게 제공된다. 운전자가 어두운 차고에서 시동을 거는 경우, 그리고 운전자 뒤에 숲이 있는지의 여부를 융합 이미지 내의 적외선 정보를 통해 인지되는 경우 이러한 선택은 운전자에 의해 실시될 수 있다.
본 발명의 바람직한 실시예에서 차량의 현재 위치는 차량 네비게이션 장치, 특히 위성 네비게이션 장치에 의해 결정된다. 상기 위치를 참고로 차량에 탑재된 네비게이션 장치에 의해 디지털 지도 데이터와 비교함으로써 자동으로 특히 도심도로, 지방도로 또는 고속도로와 같은 적절한 도로 분류 또는 주행 상황이 결정된다. 그러한 차량 네비게이션 장치는 오늘날 많은 차량에 노선 안내를 위해 제공되고 많은 비용을 들이지 않고 앞에 설명된 차량 주변의 융합된 이미지의 자동으로, 주행 상황 및 주변에 의존적으로 최적화하는데 이용될 수 있다.
대안으로서 또는 보완적으로 본 발명의 다른 실시예에서 주행 상태는 특히 차량 중량 및/또는 하향 전조등 또는 원거리 전조등의 작동 및/또는 차량 가속 및/또는 밝기 및/또는 안개와 같은 적어도 하나의 주행 역학 변수를 이용하여 결정될 수 있다. 이러한 정보들은 오늘날 차량에서 많은 비용을 들일 필요 없이 차량의 전기 계통에 의해 전체 또는 부분적으로 사용될 수 있다.
본 발명의 바람직한 실시예에서 컬러 비주얼 이미지는 적외선 이미지와 융합되거나 또는 조합 또는 중첩된다. 흑백 비주얼 이미지와 달리 전방에 주행하는 차량의 빨간색 브레이크 조명, 빨간색 신호등, 컬러 교통 표지판 등과 같이 비주얼 이미지의 컬러 정보를 갖는 융합된 이미지가 생성된다. 융합된 이미지 내의 컬러 정보는 해당 차량의 운전자에게 융합된 이미지에 나타나 있는 교통 상황에 대해 신속하게 방향설정을 하고 감지하는 것을 간단하게 한다. 또한, 컬러 정보는 컬러 경고 지시(빨간색 신호등 등)이 간과되는 위험을 감소시킨다.
특히 사용된 대물 렌즈 등의 이미징 에러로 인한 적외선 또는 비주얼 이미지의 왜곡과 같은 방해 요소가 없이, 상이한 스펙트럼 범위에 대한 장면 또는 주변의 이미지가 요약된다. 이것은 바람직하게 소프트웨어를 통해서 디지털 이미지 처리를 위한 공지된 조치에 의해 이루어진다. 방해 요소가 제거된 이미지 또는 상기 이미지의 이미지 데이터는 바람직하게 디지털 이미지 처리에 의해 서로 조정되고 또는 일치되므로, 적외선 및 비주얼 이미지로부터 또는 상기 이미지의 디지털 정보의 동일한 시간 및 장소의 이미지 쌍이 제공된다. 이것은 본 발명에 따라 적어도 하나의 거리 의존적인 및/또는 주행 상황에 의존적인, 왜곡 없는 융합 이미지의 발생을 위한 조정 파라미터를 사용하여 실행된다. 디지털 이미지 처리를 위해 사용된 소프트웨어 및 하드웨어는 바람직하게 이미지의 오프셋, 회전 및 스케일링을 상호 가능하게 한다. 이렇게 처리됨으로써 상이한 스펙트럼 범위로부터 기인하는 이미지의 중첩과 융합을 위한 후속하는 하드웨어 공정이 저렴하게 - 실시간 처리, 동일 시간 및 장소의 이미지 쌍에도 불구하고 - 최소화될 수 있다.
본 발명의 바람직한 실시예에 따라 적외선 이미지와 비주얼 이미지가 동일한 리프세시율(refresh rate)에 의해, 바람직하게는 상기 스펙트럼 범위를 위한 하나 또는 두 개의 카메라 또는 센서에 의해 발생된다. 이로써 특히 간단하게 적외선 이미지 및 비주얼 이미지로부터 동시 이미지 쌍이 생성될 수 있고, 이것은 두 개 이미지의 후속하는 본 발명에 따른 중첩 또는 융합을 위한 소프트웨어 및 하드웨어 공정을 - 지속적으로 실시간으로 - 현저하게 감소시킨다. 이미지 쌍의 처리 속도가 상승한다. 즉, 이미지의 중간 저장을 위한 반도체 메모리 비용이 감소된다.
본 발명의 바람직한 실시예에서 적외선 이미지는 약 8 내지 14 ㎛ 의 파장에 있는, 사람 및 사물로부터 제공된 적외선 방사 또는 열 방사를 나타낸다. 바람직하게 IR 카메라 또는 IR 센서가 사용되고, 이것은 약 8 내지 10 ㎛ 범위에서 감지할 수 있다. 따라서 바람직하게 차량 주변에 대한 적외선 또는 상기 조명(약 800 내지 2.5 nm 의 전형적인 파장)이 생략될 수 있다. 공지된 방식으로 각각 적외선 조명 장치를 구비한 마주 오는 차량들의 상호 눈부심이 발생하지 않는다. 또한, 본 발명에 따른 적외선 이미지는 적외선 조명 장치의 거리에 제한되지 않는다.
본 발명은 하기에서 본 발명의 실시예에 의해 상세히 설명된다.
도 1에 블록 회로도로 도시된, 본 발명에 따른 장치 또는 점검 시스템(100)은 비주얼 스펙트럼 범위에 있는 전자, 여기서는 예를 들어 CCD 센서인 비주얼 카메라(101), 약 8 내지 10 ㎛ 의 적외선 스펙트럼 범위에서 감지하는, 예를 들어 IR센서인 전자 적외선 카메라(102), 제 1 표준화 장치(103), 제 2 표준화 장치(104), 정렬 장치(105) 및 중첩 또는 융합 장치(106)을 포함한다. 비주얼 카메라(101)는 컬러 비주얼 이미지를 전송한다.
카메라(101, 102)의 광학 축은 바람직하게 서로 평행하게 정렬되고, 이로써 평행축 에러가 최소화될 수 있고, 바람직하게 인접하여 놓임으로써 오프셋 에러가 최소화될 수 있다. 두 개의 카메라 또는 센서의 상 평면은 바람직하게 서로 평행하고 광학 축에 대해 수직으로 향해 있고 가까이 인접해 있다. 카메라 또는 센서의 감광성 센서면들은 바람직하게 서로 비틀려 있거나 틸팅되어 있는 것이 아니라, 평행하게 배치되어 있다. 또한, 두 개의 카메라 또는 센서들은 바람직하게 동일한 개방각을 갖는다. 카메라 또는 센서는 상이한 스펙트럼 범위의 이미지를 전송하는 이러한 조치에 의해 주변의 동일한 컷 아웃을 나타내고 서로 상대적으로 그리고 실제 상황에 대해 비틀리지 않을 수 있다. 이로써 두 개의 이미지로부터 하나의 융합된 상을 제공하는 이미지 처리를 위한 공정 비용 및 하드웨어와 소프트웨어 공정 비용이 현저하게 감소될 수 있다.
카메라의 광학 표면은 바람직하게 방수 코팅되어 있고 바람직하게 그것의 세척을 위해 헤드라이트 세척에 일반적인 고압 노즐 등이 제공된다. 두 개의 카메라는 바람직하게 공동 하우징 내에 장착된다(조립 용이, 차량 축에 대해 전체 방향, 카메라의 광학 파라미터의 변동 없이 아래로 나란히). 카메라의 하우징에 바람직하게 고정장치가 배치되고, 상기 고정장치는 카메라에 또는 카메라 내부에서 카메라의 진동 없는 작동을 보장한다. 카메라의 작동을 위해 작동 전압을 위한 접속부가 제공된다. 카메라의 작동 전압은 융통성 있게 각각의 차량 전기 계통 전압, 예컨대 12 V 및/또는 42 V 에 맞게 조정될 수 있어야 한다. 카메라의 전자 장치 및 센서를 손상으로부터 보호하기 위해 작동 전압 분기에 바람직하게 과부하 안전장치 및 역전압 보호장치가 장착된다. 카메라 또는 센서에 의해 생성된 비디오 신호의 출력(스펙트럼 범위를 분리 또는 융합)은 표준을 지향한다(예를 들어 NTSC, PAL, SECAM 또는 고유의 표준). 디지털/아날로그 변환기로서 반도체 소자가 사용될 수 있다. 카메라 또는 센서는 차량 주변의 비주얼화를 위해 차량의 전방, 후방 및 측면으로 설치될 수 있다.
하기에서 점검 시스템 또는 장치(100)의 보정이 상세히 설명된다. 보정을 위해 본 발명에 따른 보정 장치(도시되지 않음)가 사용된다. 상기 장치는 다수의 백열 램프를 구비하고, 상기 램프는 바람직하게 격자 형태로 배치된다. 백열 램프는 열 방사 및 비주얼화 가능한 방사를 특징으로 한다. 바람직하게 다수의 백열 램프를 장착한 플레이트 등은 두 개의 카메라 또는 센서의 전방에 차례로 서로 다른 간격 범위에 배치된다. 상기 간격 범위는 전형적인 주변 또는 주행상황에 의존하는 간격 범위이고, 이것은 하기에서 상세히 설명된다.
카메라(101, 102)의 전방에 있는, 바람직하게 어두운 주변에서 그리고 열원에 인접하지 않게 배치된 보정 장치는 비주얼-카메라(101)에서 (소위)비주얼 이미지를 생성하고, 상기 이미지는 사람의 눈을 보는 것처럼 격자 형태로 배치된 백열 램프를 나타낸다. 또한, 적외선 카메라(102)의 보정 장치는 마찬가지로 백열 램프의 구조를 나타내는 열이미지를 생성한다. 전형적으로 비주얼 이미지 및 소위 적외선 이미지는 특히 광학 이미징 에러 등으로 인해 각 이미지의 가장자리에 왜곡이 나타난다. 공지된 방식으로 비주얼 이미지의 왜곡 또는 이미징 에러는 제 1 표준화 장치(103)에 의해 계속해서 제거된다. 공지된 방식으로 적외선 이미지의 왜곡 또는 이미징 에러는 제 2 표준화 장치(104)에 의해 계속해서 제거된다. 표준화 또는 에러 제거는 바람직하게 공지된, 소프트웨어 따른 조치에 의해 이미지(디지털 이미지 처리)디지털 데이터에서 비주얼 이미지용 보정 파라미터(107) 및 적외선 이미지용 보정 파라미터(108)를 사용하여 이루어진다.
표준화된 또는 계속해서 장애가 제거된 이미지들 또는 상기 이미지들의 디지털 데이터들은 디지털 이미지 처리에 공지된 레지스트리 과정을 통해 차례로 정렬 장치(105)에 의해 레지스터 파라미터(105)를 사용하여 정렬된다. 정렬 장치에서 바람직하게 이미지들 중 하나는 변형되지 않고 다른 이미지에 대한 기준으로 사용된다. 제 2 이미지는 제 1 이미지에 대해 전반적으로 동일한 사물의 이미지를 만들도록 크기 및 길이가 변형된다.
표준화된 이미지는 하나 또는 동일한 사물이 동일한 위치에서 그리고 동일한 크기로 융합된 이미지에 나타나도록 서로 나란히 정렬된다. 상기 사전 처리 단계가 실행되지 않으면 상이한 카메라 구조 및 카메라의 오프셋으로 인해 그림자 이미지 또는 쌍이미지가 발생한다. 이것은 두 위치에서 그리고 상이한 크기의 사물이 융합된 이미지에 나타나는 것을 의미한다. 그러한 이미지는 방향성을 제시하기보다는 조망자를 거슬리게 한다.
정확한 픽셀의 또는 정확한 영역의 융합을 주변 또는 주행 상황에 의존하여 최적화하기 위해 먼저 도심주행에 적합한 주행 상황을 위한 제 1 레지스터 과정이 실행된다. 이를 위해 보정장치와 카메라(101, 102) 사이의 간격은 예컨대 약 15 내지 75 m 범위에서 변경되고 상기 간격의 범위에 적합한 레지스트리 파라미터(들)가 검출되고 저장된다. 상응하게 지방도로에 적합한 주행 상황을 위한 제 2 레지스터 과정이 즉, 예컨대 약 30 내지 150 m 의 범위에서 실행된다. 끝으로, 상응하게 고속도로에 적합한 주행 상황을 위한 제 3 레지스터 과정이 즉, 예컨대 약 50 내지 250 m 범위에서 실행된다.
차량 네비게이션 장치(도시되지 않음)에 의해 제공된 실제 위치 데이터를 사용하여 시스템에 의해 디지털 지도를 사용하여 특히 도심로, 지방도로 또는 고속도로와 같은, 차량의 위치에 상응하는 도로 분류 또는 주행 상황이 결정된다. 특히 어두운 경우에는 이미지의 주행 상황에 적절한 조정을 위한 중첩 또는 정렬 장치(105)의, 주행 상황에 상응하고 보정 과정시 차량에 저장된 레지스트리 또는 조정 파라미터들이 사용된다. 따라서 특히 해당 주행 상황에 대한 융합 이미지에서 그림자 또는 쌍이미지 또는 이상 중복 화면이 현저하게 방지된다.
대안으로서 또는 보완적으로 차량의 실제 주행 상황은 적어도 하나의 주행 다이내믹 변수에 의해 검출된다. 주행 다이내믹 변수에 할당되고 차량에 저장된 레지스터 또는 조정 파라미터는 본 발명에 따라 이미지의 주행 상황에 적절한 조정을 위한 중첩 또는 정렬 장치(105)에 의해 사용된다. 이러한 조치에 의해 특히 해당 주행 상황에 대한 융합된 이미지의 그림자 또는 쌍이미지 또는 이상 중복 화면이 방지된다. 차량의 주행 다이내믹 변수는 상기 차량의 속도, 하향 전조등 또는 원거리 전조등의 스위치 온 또는 가속 또는 감속 등이다.
표준화된 이미지의 언급된 조정은 세 단계로 분류될 수 있다. 즉, 오프셋, 뒤틀림, 스케일링이다. 실제로 뒤틀림, 스케일링, 오프셋 순서는 최상의 품질 결과를 제공할 수 있다. 왜냐하면, 상기 단계의 순서는 일반적으로 가환적이고 또는 교환 가능하기 때문에, 상기 단계의 순서는 보정시 그리고 본 발명에 따른 점검 장치의 하기 작동시 동일하다는 사실에 주의해야 한다. 경우에 따라서는 점검 장치의 보정 및/또는 작동 소프트웨어가 상응하게 구성된다.
차례로 조정된 이미지는 중첩 또는 융합 장치(106)에서 소프트웨어에 따라 상기 이미지의 디지털 데이터가 처리됨으로써 중첩 또는 융합된다. 비주얼 이미지 및 적외선 이미지로부터 생성된 매 동일한 시간 및 장소 또는 동일한 사물의 이미지 쌍으로부터 융합된 또는 중첩된 이미지가 생성되고, 상기 이미지는 차량의 운전자에게 바람직하게 차량의 컬러 모니터에 나타낸다.
바람직하게 동일한 시간 및 사물의 이미지쌍의 융합은 두 개의 이미지로부터 개별적으로 서로 할당된 픽셀 쌍을 기초로 또는 두 개의 이미지로부터 다수의 픽셀을 사용하여 이루어진다. 이것은 특히 어떠한 해상도가 바람직하고 및/또는 디지털 이미지 처리를 위해 어떠한 컴퓨팅 성능이 사용되는지에 대한 방향을 설정할 수 있다. 설명된 바와 같이 처리된 이미지들은 상기 이미지의 이미지 데이터를 디지털 처리함으로써 중첩되어 표시된다. 결과로부터 상기 과정은 동일한 장면 또는 차량 주변의 포일 또는 슬라이드의 중첩과 거의 비교될 수 있다. 컴퓨팅 기술에 의해 또는 디지털 이미지 처리시 이것은 특히 각각의 이미지의 픽셀 형성의 밝기, 비주얼 이미지 및/또는 적외선 이미지에 포함된 컬러 형성을 고려하여 픽셀 형성의 평균값 형성에 의해 달성된다. 이것은 픽셀에 필수적인 픽셀이 연속할 필요 없이 두 개의 이미지에서 동일한 장소 및 시간의 픽셀 범위에 대한 평균값 형성에 의해서도 이루어질 수 있다.
또한, 평균값 형성시 적외선 이미지에서 픽셀 형성은 비주얼 이미지의 동일한 시간 및 장소의 픽셀 형성에 대해 상이하게 가중치를 부여하는 것이 바람직할 수 있다. 이러한 상이한 가중치 부여는 예컨대 일광 및/또는 기후 조건에 따라 및/또는 비주얼 이미지의 컬러에 따라 실행될 수 있고, 이로써 예컨대 융합 이미지의 빨간색 신호등은 특히 두드러지게 인식될 수 있도록 달성될 수 있다. 또한, 융합 이미지의 부분 영역에 대한 가중치 부여, 예를 들어 전방과 후방 간의 차이점 또는 전체 융합 이미지는 차량의 운전자에 의해 수동적으로 변경될 수 있다.
이러한 과정에 의해 개별 이미지 범위는 특히 두드러질 수 있다. 따라서 예컨대 운전자의 소정의 가이드가 이루어지도록 하기 위해 차량의 직접적인 주행 범위가 강력하게 강조될 수 있다.
점점 어두워지는 경우, 평균값 형성시 비주얼 정보에 대한 적외선 정보의 가중치 부여가 증가할 수 있다. 하향 전조등이 스위치 온 된 경우 비주얼 정보에 대한 적외선 정보의 가중치 부여는 스위치 온 된 원거리 전조등과 달리 높아질 수 있다.
또한, 각각의 이미지 범위의 정보량이 가중치 부여를 함께 결정할 수 있다. 비주얼 이미지의 동일한 시간 및 장소 범위에서 정보량이 적외선 범위의 동일한 범위에서 보다 현저히 높다면, 이것은 평균값 형성시 비주얼 정보의 보다 높은 가중치 부여를 통해 고려되는 것이 바람직하다.
앞에서 설명하였듯이, 카메라 또는 센서에 의해 생성된 이미지는, 등화 및 사물 실제에 따라 조정되도록 사전 처리되어야 한다. 비용이 많이 드는 메모리를 절약하기 위해 소프트웨어 알고리즘은 바람직하게 픽셀 방식으로 카메라(101, 102)의 센서 정보에 액세스한다.
디지털 이미지 처리를 위해 도 1에 도시된 장치는 전체 또는 부분적으로 바람직하게 하나 또는 다수의 소프트웨어 제어된 디지털 프로세서이고, 상기 프로세서는 바람직하게 실시간 디지털 이미지 처리를 위해 최적화된다. 또한, PC 프로세서의 처리 속도가 비주얼 및 적외선 정보를 포함하는 융합 이미지의 제공을 위해 이미지의 계속적인 실시간 처리를 허용하는 경우, 저렴하게 하나 또는 다수의 소프트웨어 제어된 PC 프로세서를 사용하는 것을 고려할 수 있다.

Claims (39)

  1. 특히 어두운 경우, 차량 주변을 비주얼화하는 방법으로서,
    주변의 비주얼 이미지 또는 상기 이미지의 디지털 데이터, 바람직하게 컬러 비주얼 이미지를 제공하고, 상기 비주얼 이미지는 비주얼화할 수 있는 사물을 나타내고,
    주변의 적외선 이미지 또는 상기 이미지의 디지털 데이터를 제공하고, 상기 적외선 이미지는 상기 비주얼화할 수 있는 및/또는 다른 사물로부터 나오는 적외선을 나타내는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  2. 제 1 항에 있어서, 상기 적외선 이미지 또는 표준화된 적외선 이미지에 대한 상기 비주얼 이미지 또는 표준화된 비주얼 이미지 또는 그 반대는 이미지의 디지털 데이터 처리에 의해 실행되고, 따라서 두 개의 스펙트럼 범위의 동일한 시간과 장소의 이미지 쌍이 제공되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상이한 스펙트럼 범위의 동일한 시간 및 장소의 이미지의 동일한 장소의 픽셀 또는 픽셀 범위는 상기 이미지의 디지털 데이터를 처리함으로써 서로 중첩되고 또는 평균값 형성이 실행되어 융합된 이미지에 나타나는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  4. 제 3 항에 있어서, 상기 픽셀 또는 픽셀 범위의 밝기 및/또는 컬러값은 중첩되거나 또는 평균값 형성을 위해 이용되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  5. 제 3 항 또는 제 4 항에 있어서, 비주얼 이미지 및 적외선 이미지로부터 나타나는 하나 이상의 동일한 장소의 픽셀에 대해 가중치 부여된 중첩 또는 평균값 형성이 실행되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 가중치 부여는 차량 주변의 밝기/또는 시계 조건을 고려하여 이루어지는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  7. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서, 서로 할당된 픽셀 또는 픽셀 범위의 중첩 또는 융합시 적외선 픽셀 및 비주얼 픽셀 또는 상기 픽셀 범위들은 상이하게 가중치 부여되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  8. 제 3 항 내지 제 7 항 중 어느 한 항에 있어서, 중첩 또는 평균값 형성시 비주얼 이미지 및/또는 적외선 이미지의 정보가 부족한 영역에 비하여 정보가 많은 영역은 보다 높게 가중치 부여되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  9. 제 3 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 스펙트럼 부분의 가중치 부여 및/또는 중첩은 운전자에 의해 융합된 이미지에서 주변 또는 주행 상황에 의존하여 수동적으로 조절되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  10. 제 3 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 스펙트럼 부분의 가중치 부여 및/또는 중첩은 중첩 또는 융합 장치(106)에 의해 주변 또는 주행 상황에 의존하여 조절되고, 상기 장치는 주변 또는 주행 상황에 의존적인 파라미터 또는 차량에 배치된 센서의 출력 신호를 고려하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  11. 제 3 항 내지 제 10 항 중 어느 한 항에 있어서, 융합된 이미지 전체 또는 상기 융합된 이미지의 일부 범위에 대한 상기 주변 또는 주행 상황에 의존하는 조절이 실행되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서, 실제 차량 주변의 주변 또는 주행 상황에 의존하는 조절은 예를 들어 안개 및/또는 비 및/또는 젖은 또는 반사하는 주행로, 전방 주행 차량에 대한 간격, 도심로, 지방도로 또는 고속도로 등에 따라, 최종 정보는 예컨대 차량에 제공된 네비게이션 장치를 이용하여 지도의 데이터를 처리함으로써 검출되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 주변 또는 주행 상황에 의존하는 조절은 차량의 실제 주변 밝기에 의존하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  14. 제 9 항 내지 제 13 항 중 어느 한 항에 있어서, 주행 상황에 의존하는 조절은 특히 상기 차량의 속도 및/또는 가속 및/또는 조향각도와 같이 차량의 실제 주행 다이내믹 변수의 주행 상황에 의존하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  15. 제 1 항에 있어서, 상기 비주얼 이미지 또는 상기 이미지의 데이터는 비주얼 스펙트럼 범위에서 감지하는 비주얼 카메라에 의해, 바람직하게 컬러를 감지하는 비주얼 카메라에 의해 또는 그러한 제 1 센서에 의해 제공되고, 적외선 이미지 또는 상기 이미지의 디지털 데이터는 적외선 스펙트럼 범위에서 감지하는 적외선 카메라 또는 그러한 제 2 센서에 의해 제공되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  16. 제 15 항에 있어서, 상기 비주얼 카메라 또는 제 1 센서 또는 그것의 대물 렌즈는 제 1 광학 축을 갖고, 적외선 카메라 또는 제 2 광학 센서 또는 그것의 대물 렌즈는 제 2 광학 축을 가지며, 상기 축들은 특히 평행하게 나란히 오프셋 되어 있으므로, 카메라 또는 센서들의 적어도 일부는 차량 주변의 상이한 컷 아웃, 즉 제 1 및 제 2 컷 아웃을 제공하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  17. 제 16 항에 있어서, 상기 제공된 제 1 및 제 2 컷 아웃은 완전히 또는 부분적으로 중첩 또는 융합 장치(106)에 의해 픽셀 및/또는 부분적으로 중첩 또는 융합되고, 상기 융합시 적어도 하나의 거리에 의존하는, 특히 적어도 하나의 레지스트리 또는 변환 파라미터와 같이, 바람직하게 상이한 거리 보정시 얻어지는 조정 파라미터가 고려되고, 상기 조정 파라미터(들)는 바람직하게 보정시 차량의 데이터 메모리에 저장되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  18. 제 17 항에 있어서, 적어도 하나의 거리 의존적인 조정 파라미터는 제 1 거리 또는 제 2 거리 범위에 대한 제 1 보정에 의해 그리고 적어도 하나의 다른 거리 또는 다른 거리 범위에 대한 다른 보정에 의해 얻어지는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  19. 제 18 항에 있어서, 상기 제 1 거리 또는 제 1 거리 범위는 도심주행에 적합한 주행 상태, 특히 약 15 내지 70 m 의 거리 범위에 상응하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  20. 제 18 항 또는 제 19 항에 있어서, 제 2 거리 또는 제 2 거리 범위는 지방도로에 적합한 주행 상황, 특히 약 30 내지 50 m 거리 범위에 상응하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  21. 제 18 항 내지 제 20 항 중 어느 한 항에 있어서, 제 3 거리 또는 제 3 거리 범위는 고속도로에 적합한 주행 상황, 특히 50 내지 250 m 거리 범위에 상응하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  22. 제 1 항 내지 제 21 항 중 어느 한 항에 있어서, 차량의 실제 주행 상황은 자동으로 검출되고 및/또는 운전자가 자신에게 적합해 보이는 조정 파라미터를 여로 조정 파라미터들로부터 선택하고 실제 주행 상황에 적합한 또는 선택된, 보정에 의해 얻어져 차량에 저장된 조정 파라미터는 비주얼 이미지와 적외선 이미지의 픽셀 및/또는 부분적으로 중첩 또는 융합시 고려되고, 이로써 바람직하게 왜곡 없는 및/또는 이상 중복 화면이 없는 주변의 융합 이미지가 발생하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  23. 제 1 항 내지 제 22 항 중 어느 한 항에 있어서, 차량의 실제 위치는 차량 네비게이션 장치, 특히 위성 네비게이션 장치에 의해 자동으로 검출되고, 특히 도심로, 지방도로 또는 고속도로와 같이 위치에 상응하는 도로 분류 또는 주행 상황이 검출되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  24. 제 1 항 내지 제 23 항 중 어느 한 항에 있어서, 상기 주행 상황은 특히 차량 속도 및/또는 하향 전조등 또는 원거리 전조등의 작동 및/또는 차량 가속과 같은 적어도 하나의 주행 다이내믹 변수에 의해 검출되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  25. 제 1 항 내지 제 24 항 중 어느 한 항에 있어서, 상기 비주얼화할 수 있는 사물 및/또는 다른 사물로부터 나와서 감지되는 적외선은 약 7 내지 14 ㎛ 범위, 바람직하게 7.5 내지 10.5 ㎛ 의 파장을 갖는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  26. 제 1 항 내지 제 25 항 중 어느 한 항에 있어서, 상기 비주얼화 가능한 사물 및/또는 다른 사물로부터 나와서 감지되는 적외선은 약 3 내지 5 ㎛ 범위의 파장을 갖는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  27. 제 1 항 내지 제 26 항 중 어느 한 항에 있어서, 상기 비주얼화 가능한 사물 및/또는 다른 사물로부터 나와서 감지되는 적외선은 약 100 내지 2.5 ㎛ 범위의 파장을 갖는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  28. 제 1 항 내지 제 27 항 중 어느 한 항에 있어서, 디지털 데이터 형태의 차량 주변 비주얼 이미지는 보정 장치를 이용하려 표준화되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  29. 제 1 항 내지 제 28 항 중 어느 한 항에 있어서, 디지털 데이터 형태의 주변 컷 아웃의 적외선 이미지는 보정 장치를 이용하여 표준화되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  30. 제 1 항 내지 제 29 항 중 어느 한 항에 있어서, 상기 보정 장치에 의해 비주얼화 가능한 광선 및 적외선이 방사되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  31. 제 1 항 내지 제 30 항 중 어느 한 항에 있어서, 상기 보정 장치는 적어도 하나의 백열 램프를 구비하고, 상기 램프는 다수의 백열 램프인 경우에는 바람직하게 격자 형태로 배치되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  32. 제 1 항 내지 제 31 항 중 어느 한 항에 있어서, 상기 비주얼 이미지 및/또는 적외선 이미지의 디지털 데이터는 이미지 데이터 메모리에 임시 저장되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  33. 제 1 항 내지 제 32 항 중 어느 한 항에 있어서, 상기 비주얼 카메라 또는 제 1 센서 및 적외선 카메라 또는 제 2 센서의 리프레시율은 적어도 거의 일치하는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  34. 제 1 항 내지 제 33 항 중 어느 한 항에 있어서, 상이한 스펙트럼 범위의 동일한 시간 및 장소의 이미지의 동일한 장소의 픽셀 또는 픽셀 범위는 상기 이미지의 디지털 데이터의 처리에 의해 서로 중첩되고 또는 평균값 형성이 실행되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  35. 제 1 항 내지 제 34 항 중 어느 한 항에 있어서, 상기 픽셀 또는 픽셀 범위의 밝기값 및/또는 컬러값은 중첩되거나 또는 평균값 형성을 위해 사용되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  36. 제 1 항 내지 제 35 항 중 어느 한 항에 있어서, 비주얼 이미지 및 적외선 이미지로부터 하나 또는 다수의 거의 동일한 장소의 픽셀에 대해 가중치 부여된 중첩 또는 평균값 형성이 실행되는 것을 특징으로 하는 차량 주변을 비주얼화하는 방법.
  37. 특히 어두운 동안에 차량 주변을 비주얼화하는 장치(100)에 있어서, 상기 장치는 제 1 항 내지 제 36 항에 따른 방법을 구현하는 것을 특징으로 하는 차량 주변을 비주얼화하는 장치.
  38. 제 37 항에 있어서, 비주얼 카메라(101), 바람직하게 컬러 감지 비주얼 카메라, 적외선 카메라(102), 비주얼 카메라에 의해 제공된, 차량 주변의 컷아웃의 특히 컬러 비주얼 이미지의 표준화를 위한 제 1 표준화 장치, 적외선 카메라에 의해 제공된, 차량 주변의 컷아웃의 적외선 이미지의 표준화를 위한 제 2 표준화 장치, 비주얼 이미지 및 적외선 이미지로부터 동일한 시간 및 장소의 이미지 쌍을 생성하기 위한 정렬 장치(105), 및 동일한 시간 및 장소의 이미지 쌍을 픽셀에 따라 또는 부분적으로 중첩하고 및/또는 평균값을 형성하는 융합 또는 중첩 장치(106)를 특징으로 하는 차량 주변을 비주얼화하는 장치.
  39. 보정 장치로서, 제 37 항 또는 제 38 항에 따른 차량 주변을 비주얼화하는 장치의 보정에 이용되고 비주얼화 가능한 광선은 물론 적외선을 방사하는 특히 백열 램프와 같은 적어도 하나의 광원을 갖는 것을 특징으로 하는 보정 장치.
KR1020057012503A 2003-02-06 2004-01-30 적외선 및 비주얼 이미지의 주변 환경에 따른 융합을이용하여 차량 주변을 비주얼화하는 방법 및 장치 KR20050103194A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10304703.4A DE10304703B4 (de) 2003-02-06 2003-02-06 Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE10304703.4 2003-02-06

Publications (1)

Publication Number Publication Date
KR20050103194A true KR20050103194A (ko) 2005-10-27

Family

ID=32730784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012503A KR20050103194A (ko) 2003-02-06 2004-01-30 적외선 및 비주얼 이미지의 주변 환경에 따른 융합을이용하여 차량 주변을 비주얼화하는 방법 및 장치

Country Status (7)

Country Link
US (1) US7199366B2 (ko)
EP (1) EP1590697A1 (ko)
JP (1) JP4491453B2 (ko)
KR (1) KR20050103194A (ko)
CN (1) CN100401129C (ko)
DE (1) DE10304703B4 (ko)
WO (1) WO2004070449A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134694A (ko) * 2012-03-19 2014-11-24 플리어 시스템즈, 인크. 통합 적외선 이미징 모듈을 구비한 웨어러블 장치
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
WO2015170869A1 (ko) * 2014-05-07 2015-11-12 서울대학교산학협력단 협력 통신을 이용하여 주변 이동체를 탐지하는 방법 및 시스템
KR20150127522A (ko) * 2014-05-07 2015-11-17 서울대학교산학협력단 협력 통신을 이용하여 주변 이동체를 탐지하는 방법 및 시스템
KR20150128107A (ko) * 2014-05-08 2015-11-18 한화테크윈 주식회사 영상 융합 방법
US10044946B2 (en) 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
KR20200027789A (ko) * 2018-09-05 2020-03-13 주식회사 옵트론텍 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
WO2020153591A1 (ko) * 2019-01-24 2020-07-30 주식회사 아이에이 실시간 처리 가능 카메라 기반 주행 환경 탐지 차량 시스템

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834905B2 (en) * 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
US7427758B2 (en) 2003-05-28 2008-09-23 Opto-Knowledge Systems, Inc. Cryogenically cooled adjustable apertures for infra-red cameras
DE10348109A1 (de) * 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
WO2005072431A2 (en) * 2004-01-27 2005-08-11 Sarnoff Corporation A method and apparatus for combining a plurality of images
DE102004060461A1 (de) * 2004-12-16 2006-07-06 Daimlerchrysler Ag Verfahren zum Betreiben einer Leuchteinrichtung und Vorrichtung zum Betreiben einer Leuchteinrichtung
DE102004061831A1 (de) * 2004-12-22 2006-07-06 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur kombinierten Auswertung der Signale eines Regensensors und einer Kamera
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
US8077995B1 (en) 2005-02-23 2011-12-13 Flir Systems, Inc. Infrared camera systems and methods using environmental information
US7340162B2 (en) * 2005-02-23 2008-03-04 Flir Systems, Inc. Infrared camera systems and methods
US7419298B2 (en) * 2005-05-24 2008-09-02 United Technologies Corporation Thermal imaging method and apparatus
DE102005041241A1 (de) * 2005-08-31 2007-04-19 Valeo Schalter Und Sensoren Gmbh Verfahren und System zum Betreiben eines Kamerasystems eines Fahrzeugs
DE102006014504B3 (de) * 2006-03-23 2007-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem für Kraft- und Schienenfahrzeuge sowie Verfahren zur elektronischen Bilderfassung
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US7885469B2 (en) * 2006-05-22 2011-02-08 Microsoft Corporation Encoded high dynamic range textures
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7636098B2 (en) 2006-09-28 2009-12-22 Microsoft Corporation Salience preserving image fusion
DE102006053109B3 (de) 2006-11-10 2008-06-12 Audi Ag Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem
DE102006055905B4 (de) * 2006-11-27 2020-01-30 Adc Automotive Distance Control Systems Gmbh Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
DE102007021035A1 (de) * 2007-05-04 2008-11-13 Siemens Ag Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem zur kontrasterhaltenden Fusionierung und Visualisierung koregistrierter Bilddaten
JP2008306512A (ja) * 2007-06-08 2008-12-18 Nec Corp 情報提供システム
US8164813B1 (en) 2007-06-16 2012-04-24 Opto-Knowledge Systems, Inc. Non-circular continuous variable aperture or shutter for infrared cameras
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
FR2922072B1 (fr) * 2007-10-03 2011-04-29 Latecoere Procede et systeme d'aide au roulage d'un aeronef
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US10425595B2 (en) 2007-11-28 2019-09-24 Flir Systems, Inc. Modular camera systems and methods
DE102008004370A1 (de) * 2008-01-15 2009-07-16 Robert Bosch Gmbh Bildjustageverfahren für ein Videobild
US8274226B1 (en) * 2008-10-06 2012-09-25 Tomar Electronics, Inc. System and method of integrating an LED spotlight
US7772539B2 (en) * 2008-10-10 2010-08-10 General Electric Company System and method for determining characteristic information of an object positioned adjacent to a route
US8840249B2 (en) * 2008-10-31 2014-09-23 Christie Digital Systems, Inc. Method, system and apparatus for projecting visible and non-visible images
US8489353B2 (en) * 2009-01-13 2013-07-16 GM Global Technology Operations LLC Methods and systems for calibrating vehicle vision systems
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10244190B2 (en) * 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US8599264B2 (en) * 2009-11-20 2013-12-03 Fluke Corporation Comparison of infrared images
US8279285B2 (en) 2010-04-14 2012-10-02 Canon Kabushiki Kaisha Hybrid imaging with visible and quantum entanglement images
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US8102306B2 (en) * 2010-05-13 2012-01-24 The United States Of America As Represented By The Secretary Of The Navy Active-radar-assisted passive composite imagery for aiding navigation or detecting threats
US8768101B1 (en) 2010-06-30 2014-07-01 The United States Of America As Represented By The Secretary Of The Air Force Target image registration and fusion
DE102010026223A1 (de) * 2010-07-06 2011-05-12 Daimler Ag Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung eines seitlich neben und seitlich hinter dem Fahrzeug befindlichen Bereichs
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
US8836793B1 (en) 2010-08-13 2014-09-16 Opto-Knowledge Systems, Inc. True color night vision (TCNV) fusion
CN103493472B (zh) * 2011-02-25 2017-07-04 菲力尔系统公司 模块化的红外摄像机系统及方法
US9143709B1 (en) 2011-05-09 2015-09-22 Exelis, Inc. Non-uniformity correction (NUC) gain damping
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
CN103748867B (zh) 2011-06-10 2019-01-18 菲力尔系统公司 低功耗和小形状因子红外成像
CA2838992C (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
EP2719166B1 (en) 2011-06-10 2018-03-28 Flir Systems, Inc. Line based image processing and flexible memory system
US8824828B1 (en) * 2012-03-28 2014-09-02 Exelis, Inc. Thermal V-curve for fusion image declutter
US8994845B2 (en) * 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
DE102012025270A1 (de) 2012-12-21 2013-08-01 Daimler Ag Kamerasystem für einen Kraftwagen und Verfahren zum Mischen von zumindest zwei Bildsequenzen
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
CA2916062C (en) 2014-04-18 2020-08-11 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
JP6731135B2 (ja) * 2014-05-30 2020-07-29 パナソニックセミコンダクターソリューションズ株式会社 センシングシステム及び運転支援システム
US9628659B2 (en) * 2015-01-08 2017-04-18 GM Global Technology Operations LLC Method and apparatus for inspecting an object employing machine vision
CN107430591B (zh) * 2015-01-26 2020-10-30 Trw汽车美国有限责任公司 车辆驾驶员辅助系统
US10023118B2 (en) * 2015-03-23 2018-07-17 Magna Electronics Inc. Vehicle vision system with thermal sensor
CA3024580A1 (en) * 2015-05-15 2016-11-24 Airfusion, Inc. Portable apparatus and method for decision support for real time automated multisensor data fusion and analysis
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly
KR102371589B1 (ko) * 2016-06-27 2022-03-07 현대자동차주식회사 전방 차량 검출 장치 및 방법
CN106127720B (zh) * 2016-06-29 2019-01-11 青岛海信移动通信技术股份有限公司 一种拍摄放大图像的方法和装置
EP3491893B1 (en) 2016-07-28 2020-01-01 Signify Holding B.V. Method for calibration of lighting system sensors
DE102016217081A1 (de) * 2016-09-08 2018-03-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Empfangen, Verarbeiten und Übertragen von Daten
US11012594B2 (en) 2017-06-05 2021-05-18 Adasky, Ltd. Techniques for correcting oversaturated pixels in shutterless FIR cameras
WO2018226437A1 (en) * 2017-06-05 2018-12-13 Adasky, Ltd. Shutterless far infrared (fir) camera for automotive safety and driving systems
US10929955B2 (en) 2017-06-05 2021-02-23 Adasky, Ltd. Scene-based nonuniformity correction using a convolutional recurrent neural network
US10699386B2 (en) 2017-06-05 2020-06-30 Adasky, Ltd. Techniques for scene-based nonuniformity correction in shutterless FIR cameras
US10511793B2 (en) 2017-06-05 2019-12-17 Adasky, Ltd. Techniques for correcting fixed pattern noise in shutterless FIR cameras
CN107230199A (zh) * 2017-06-23 2017-10-03 歌尔科技有限公司 图像处理方法、装置和增强现实设备
WO2019029969A1 (de) * 2017-08-10 2019-02-14 Siemens Mobility GmbH Sensoriell gesteuertes anpassen von odometrischen messparametern an wetterbedingungen
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
US10698415B2 (en) * 2018-10-31 2020-06-30 Trw Automotive U.S. Llc Vehicle assist system
EP3888049A4 (en) * 2018-11-28 2022-07-27 Saab Ab METHOD, SOFTWARE PRODUCT, DEVICE AND IMAGE INTEGRATION SYSTEM
CN109733285B (zh) * 2019-02-27 2021-05-07 百度在线网络技术（北京）有限公司 车辆行驶状态显示方法、设备和系统
DE102019205009B4 (de) * 2019-04-08 2024-06-20 Zf Friedrichshafen Ag Verfahren, Steuergerät, Set und Computerprogrammprodukt zum Kalibrieren einer Kamera und Kalibrieren einer Fahrzeugkamera mit Nachtsichtfähigkeit
US11709099B2 (en) 2019-07-01 2023-07-25 Snap-On Incorporated Method and system for calibrating imaging system
US11555743B2 (en) * 2019-07-01 2023-01-17 Snap-On Incorporated Method and system for calibrating imaging system
CN110458877B (zh) * 2019-08-14 2023-02-24 湖南科华军融民科技研究院有限公司 基于仿生视觉的红外与可见光信息融合的导航方法
CN110889398B (zh) * 2019-12-19 2022-01-14 南通大学 一种基于相似度网络的多模态图像能见度检测方法
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11623653B2 (en) 2020-01-23 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented reality assisted traffic infrastructure visualization
DE102020214791A1 (de) 2020-11-25 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung
DE102020214781A1 (de) 2020-11-25 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erzeugen eines fusionierten Kamerabilds für eine Fahrzeugkameraeinrichtung
CN112991218A (zh) * 2021-03-23 2021-06-18 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
US20220392188A1 (en) * 2021-04-27 2022-12-08 ARETé ASSOCIATES Systems and methods for estimating visibility in a scene
US11722789B1 (en) * 2022-02-01 2023-08-08 Ford Global Technologies, Llc Multi-camera imaging system selecting between visible and infrared views in a vehicle

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
JPH01296785A (ja) * 1988-05-24 1989-11-30 Fujitsu Ltd 画像重畳装置
US5140416A (en) 1990-09-18 1992-08-18 Texas Instruments Incorporated System and method for fusing video imagery from multiple sources in real time
FR2674198B1 (fr) * 1991-03-22 1993-05-28 Renault Procede et dispositif d'amelioration de la vision automobile de nuit.
FI96993C (fi) 1992-01-30 1996-09-25 Vaisala Oy Kalibrointimenetelmä kaasujen pitoisuuden mittausta varten
FR2687000A1 (fr) * 1992-01-31 1993-08-06 Renault Procede et dispositif de detection de vehicules et de marquages au sol.
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
US5414439A (en) 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
DE19638140A1 (de) 1996-09-18 1998-03-19 Franz Huber Sichtabbildungsvorrichtung für Kraftfahrzeuge
AU2559399A (en) 1998-01-16 1999-08-02 Thresholds Unlimited, Inc. Head up display and vision system
DE19801884A1 (de) 1998-01-20 1999-07-22 Mannesmann Vdo Ag Überwachungssystem für Fahrzeuge
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
DE10016184C2 (de) 2000-03-31 2002-02-07 Audi Ag Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs
EP1202214A3 (en) * 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
DE10218175B4 (de) 2002-04-24 2011-10-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit fahrsituationsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE10227171B4 (de) * 2002-06-18 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044946B2 (en) 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
KR20140134694A (ko) * 2012-03-19 2014-11-24 플리어 시스템즈, 인크. 통합 적외선 이미징 모듈을 구비한 웨어러블 장치
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
US9996913B2 (en) 2014-04-07 2018-06-12 Bae Systems Information And Electronic Systems Integration Inc. Contrast based image fusion
WO2015170869A1 (ko) * 2014-05-07 2015-11-12 서울대학교산학협력단 협력 통신을 이용하여 주변 이동체를 탐지하는 방법 및 시스템
KR20150127522A (ko) * 2014-05-07 2015-11-17 서울대학교산학협력단 협력 통신을 이용하여 주변 이동체를 탐지하는 방법 및 시스템
KR20150128107A (ko) * 2014-05-08 2015-11-18 한화테크윈 주식회사 영상 융합 방법
KR20200027789A (ko) * 2018-09-05 2020-03-13 주식회사 옵트론텍 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
WO2020153591A1 (ko) * 2019-01-24 2020-07-30 주식회사 아이에이 실시간 처리 가능 카메라 기반 주행 환경 탐지 차량 시스템
KR20200092102A (ko) * 2019-01-24 2020-08-03 주식회사 아이에이 실시간 처리 가능 카메라 기반 주행 환경 탐지 차량 시스템

Also Published As

Publication number Publication date
EP1590697A1 (de) 2005-11-02
JP4491453B2 (ja) 2010-06-30
CN1748167A (zh) 2006-03-15
JP2006516507A (ja) 2006-07-06
US7199366B2 (en) 2007-04-03
CN100401129C (zh) 2008-07-09
WO2004070449A1 (de) 2004-08-19
DE10304703B4 (de) 2023-03-16
DE10304703A1 (de) 2004-08-19
US20050270784A1 (en) 2005-12-08

Similar Documents

Publication Publication Date Title
KR20050103194A (ko) 적외선 및 비주얼 이미지의 주변 환경에 따른 융합을이용하여 차량 주변을 비주얼화하는 방법 및 장치
US7834905B2 (en) Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
US10377322B2 (en) In-vehicle camera and vehicle control system
US9088737B2 (en) Method and device for visualizing the surroundings of a vehicle by fusing an infrared image and a visual image
US7576767B2 (en) Panoramic vision system and method
US9626570B2 (en) Vehicle control system and image sensor
CN101088027B (zh) 用于机动车的立体摄像机
US6396397B1 (en) Vehicle imaging system with stereo imaging
US6822563B2 (en) Vehicle imaging system with accessory control
US20100123395A1 (en) Headlamp control device for vehicle
EP1771811A1 (en) Panoramic vision system and method
JPWO2018003532A1 (ja) 物体検出表示装置、移動体及び物体検出表示方法
US20190034752A1 (en) Indirect View System For a Vehicle
JPWO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
JP2009227018A (ja) 車両用防眩装置
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US20200169671A1 (en) Method and apparatus for object detection in camera blind zones
US20200167573A1 (en) Method and apparatus for object detection in camera blind zones
JP4314103B2 (ja) 車載カメラ
KR102036593B1 (ko) 악천후 출동차량용 전후방 감시시스템
WO2022075173A1 (ja) 車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステム
WO2022137542A1 (ja) 信頼度補正装置、信頼度補正方法および車両運転システム
Keerthana et al. Night Vision for HVAC Duct Monitoring Bot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application