KR101250566B1 - 나이트 비전 시스템 및 그 제어방법 - Google Patents

나이트 비전 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR101250566B1
KR101250566B1 KR1020100131252A KR20100131252A KR101250566B1 KR 101250566 B1 KR101250566 B1 KR 101250566B1 KR 1020100131252 A KR1020100131252 A KR 1020100131252A KR 20100131252 A KR20100131252 A KR 20100131252A KR 101250566 B1 KR101250566 B1 KR 101250566B1
Authority
KR
South Korea
Prior art keywords
image
information
warning
night vision
vision system
Prior art date
Application number
KR1020100131252A
Other languages
English (en)
Other versions
KR20120069914A (ko
Inventor
이상영
Original Assignee
쌍용자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쌍용자동차 주식회사 filed Critical 쌍용자동차 주식회사
Priority to KR1020100131252A priority Critical patent/KR101250566B1/ko
Publication of KR20120069914A publication Critical patent/KR20120069914A/ko
Application granted granted Critical
Publication of KR101250566B1 publication Critical patent/KR101250566B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

야간 및 악천 후 등으로 인해 차량에서의 전방 시야 확보가 어려운 주행 환경에서 주변 이미지를 열 감지 영상(열적외선 또는 원적외선)으로 확보하여, 이를 운전자에게 제공해줌으로써 안전운전을 도모하기 위한 나이트 비전 시스템 및 그 제어방법이 개시된다.
개시된 나이트 비전 시스템은, 물체에서 발산하는 열적외선을 감지하여 촬영 영상을 출력하는 열상감지 카메라부와; 차량의 이동 경로 정보와 속도 정보를 제공하는 센서부와; 상기 열상감지 카메라부에서 획득한 촬영 영상과 상기 센서부에 제공하는 차량의 이동 경로 정보 및 속도 정보를 기반으로, 주행 경로를 예측하고, 촬영 영상으로부터 추출한 물체에 대한 주의 또는 경고 영상의 표시를 제어하는 영상처리부; 및 상기 영상처리부에서 제공되는 주의 또는 경고 영상을 화면에 표시해주는 표시장치를 포함한다.

Description

나이트 비전 시스템 및 그 제어방법{Night vision system and controlling method thereof}
본 발명은 나이트 비전 시스템(Night Vision System)에 관한 것으로서, 더욱 상세하게는 야간 및 악천 후 등으로 인해 차량에서의 전방 시야 확보가 어려운 주행 환경에서 주변 이미지를 열 감지 영상(열적외선 또는 원적외선)으로 확보하여, 이를 운전자에게 제공해줌으로써 안전운전을 도모하기 위한 나이트 비전 시스템 및 그 제어방법에 관한 것이다.
일반적으로, 차량에는 야간 운전 시 도로 전방 상황을 표시하기 위한 나이트비전 시스템(NVS: Night Vision System)이 마련되어 있으며, 이러한 나이트비전 시스템은 야간 주행 시 교통 사고를 방지할 수 있는 효과가 있다.
종래의 나이트 비전 시스템은 도 1에 도시된 바와 같이, 적외선 발생부(100), 차량의 전방을 촬영하는 적외선 촬영부(200), 상기 차량의 조향 정보를 감시하는 센서부(300), 상기 센서부(300)로부터 차량의 주행 방향을 예측하고, 예측된 주행 방향의 장애물을 감지하는 제어부(500), 주행 방향의 장애물 영상을 표시하는 디스플레이부(400), 운전자에게 장애물에 대해 위험을 알리기 위해 경보를 발생시키는 경보부(600)를 포함한다.
또한, 종래의 나이트 비전 시스템의 제어 방식은 도 2에 도시된 바와 같이, 차량 내부에 마련된 시스템 온/오프 스위치를 작동시켜 나이트비전 시스템을 온 시키는 단계(S100), DIS 또는 클러스터 또는 진단 툴에 의해 조향 정보 시스템과의 연동 여부를 판단하는 단계(S200), 조향 정보 시스템과 연동되어 시스템이 동작하면, 시스템이 현재 직선 모드인지 확인하는 단계(S300), 조향각 변동 또는 턴 시그널 신호가 입력되는지 여부를 판단하는 단계(S400), 조향각 신호 또는 턴 시그널 신호가 입력되면, 입력된 값에 따라 차량의 주행 방향이 좌측인지 우측인지 판단하고, 차량의 주행 방향에 따라 시스템을 좌측 모드, 우측 모드, 직선 모드와 같이 3가지 모드로 설정하는 단계(S500 ~ S700)로 이루어진다.
이와 같이 구성되는 종래의 나이트 비전 시스템은, 차량의 전방에 적외선 램프를 설치하여, 근 적외선을 발산하여 차량 전방의 장애물을 감지하고, 다시 반사되는 근 적외선을 차량 내의 수광부에서 감지하여 이를 디스플레이하는 방식으로 운전자에게 제공한다.
아울러 조향각에 대한 정보를 활용하는 경우 주행 방향을 예측하여 디스플레이되는 영상을 3가지로 분리하여 감지 영역을 표시해준다.
그러나 이러한 종래의 나이트 비전 시스템은, 적외선 램프를 통해 근 적외선을 발산하여 장애물을 인지하고 다시 수신하는 근 적외선 방식이므로, 가시광선 범위의 빛 반사 부분도 인지가 가능하여 전방 차량에서 조사되는 램프 등에 의한 눈부심도 그대로 영상에 반영되는 등 육안 대비 크게 효율적이지 못하다는 단점이 있다.
또한, 종래의 나이트 비전 시스템은 적외선 발생장치인 적외선 램프를 차량에 장착해야하는 불편함도 있으며, 그에 따른 공간 활용도 제약, 디자인 제약, 관련 장치와의 매칭 등의 문제점도 발생하였다.
또한, 조향각에 대한 정보만을 활용하여 주행 방향만을 예측하여 감지 영역을 설정하는 방식이므로, 실제 주행 경로와의 오차가 발생할 수 있으며, 이는 운전자에게 실제 위험 범위의 장애물보다 많은 수의 즉, 더욱 빈번한 경고 신호를 발생할 수 있어 시스템 활용성에 문제를 야기시켰다.
따라서 본 발명은 상기와 같은 종래 나이트 비전 시스템에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,
본 발명이 해결하려는 과제는, 야간 및 악천 후 등으로 인해 차량에서의 전방 시야 확보가 어려운 주행 환경에서 주변 이미지를 열 감지 영상(원적외선)으로 확보하여, 이를 운전자에게 제공해줌으로써 안전운전을 도모하기 위한 나이트 비전 시스템 및 그 제어방법을 제공하는 데 있다.
본 발명이 해결하려는 다른 과제는, 주행 경로 예측과 장애물까지의 거리 측정 기능을 추가하고, 장애물 인식 알고리즘과 연동을 통해 운전자에게 추가적인 정보를 제공하여 운전 편의를 돕고 안전운전을 도모하기 위한 나이트 비전 시스템 및 그 제어방법을 제공하는 데 있다.
상기와 같은 과제들을 해결하기 위한 본 발명에 따른 "나이트 비전 시스템"은,
물체에서 발산하는 열적외선을 감지하여 촬영 영상을 출력하는 열상감지 카메라부와;
차량의 이동 경로 정보와 속도 정보를 제공하는 센서부와;
상기 열상감지 카메라부에서 획득한 촬영 영상과 상기 센서부에 제공하는 차량의 이동 경로 정보 및 속도 정보를 기반으로, 주행 경로를 예측하고, 촬영 영상으로부터 추출한 물체에 대한 주의 또는 경고 영상의 표시를 제어하는 영상처리부와;
상기 영상처리부에서 제공되는 주의 또는 경고 영상을 화면에 표시해주는 표시장치를 포함한다.
상기 센서부는,
차량의 이동 경로 정보를 제공하는 조향각 센서와;
차량의 속도 정보를 제공하는 차량 속도 센서를 포함한다.
상기 영상처리부는,
내장된 거리 측정 알고리즘을 통해, 촬영 영상 화면에서 물체의 범위에 해당하는 최하단 픽셀이 디스플레이 창에서 위치하는 위치 정보와 거리에 따른 물체의 크기 정보가 저장된 데이터베이스를 기반으로 물체와의 거리를 추출하는 것을 특징으로 한다.
상기 영상처리부는,
패턴 분석과 형상분석을 기반으로 하는 물체(보행자/장애물) 인식 알고리즘을 통해, 촬영된 영상에서 물체를 추출하고, 상기 추출한 물체가 주행 경로 영역에 포함되는 경우 추출한 거리와 추출한 물체 영상을 경고 영상으로 표시하고, 상기 추출한 물체가 상기 주행 경로 영역을 벗어난 경우 거리 정보의 표시는 제외하고 주의 영상만을 표시해주는 것을 특징으로 한다.
상기 표시장치는,
주의 또는 경고 영상의 표시시 경고 음성을 송출해주는 것을 특징으로 한다.
또한, 본 발명에 따른 "나이트 비전 시스템"은,
비를 감지하는 레인 센서와;
시간 정보를 제공해주는 시간 정보 제공부를 더 포함하고,
상기 영상 처리부는,
레인 센서에 의해 비가 감지되거나 상기 시간 정보 제공부에 의해 제공되는 시간 정보가 열 평형 시간대일 경우에는 사용자에게 나이트 비전 시스템의 사용에 주의하라는 주의 정보를 표시토록 제어하는 것을 특징으로 한다.
상기와 같은 과제들을 해결하기 위한 본 발명에 따른 "나이트 비전 시스템의 제어방법"은,
나이트 비전 시스템이 온 된 경우, 열 감지 영상 촬영을 통해 열 감지 영상을 획득하는 영상 획득 단계와;
차량 조향각 정보와 차량 속도 정보를 기반으로 차량 주행 경로에 대한 OSD를 구현하는 진행방향 구현단계와;
상기 열 감지 영상으로부터 물체를 추출하는 물체 추출 단계와;
상기 물체 추출 단계에서 물체가 추출되지 않을 경우, 촬영 영상과 주행 경로 OSD만을 표시해주는 기본 영상 표시단계와;
상기 물체 추출 단계에서 물체가 추출된 경우, 추출한 물체가 상기 주행 경로 상에 존재하는지를 확인하여, 상기 주행 경로 상에 물체가 존재하지 않을 경우, 주의 모드로 전환하고, 주행 경로, 주의 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 주의영상 표시단계와;
상기 주행 경로 상에 물체가 존재할 경우, 경고 모드로 전환하고, 주행 경로, 경고 표시, 거리 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 경고 영상 표시단계를 포함한다.
또한, 본 발명에 따른 "나이트 비전 시스템의 제어방법"은,
상기 나이트 비전 시스템이 온 된 경우, 레인 센서와 시간 정보를 분석하여, 비가 오거나 열평형 시간대일 경우, 시스템 동작이 불안정하다는 경고 정보를 표시장치에 표시해주는 경고정보 표시단계를 더 포함하는 것이 바람직하다.
본 발명에 따르면, 야간 및 악천 후 등으로 인해 차량에서의 전방 시야 확보가 어려운 주행 환경에서도, 주변 이미지를 열 감지 영상(열적외선 또는 원적외선)으로 확보하여 이를 운전자에게 제공해줄 수 있으므로, 안전운전을 도모해주는 장점이 있다.
또한, 본 발명에 따르면, 주행 경로 예측과 장애물까지의 거리 측정 기능을 추가하고, 장애물 인식 알고리즘과 연동을 통해 운전자에게 추가적인 정보를 제공해줌으로써, 운전 편의를 도와주는 장점도 있다.
도 1은 종래 나이트 비전 시스템의 구성도.
도 2는 종래 나이트 비전 시스템의 제어방법을 보인 흐름도.
도 3은 본 발명에 따른 나이트 비전 시스템의 구성도.
도 4는 본 발명에 따른 나이트 비전 시스템의 제어방법을 보인 흐름도.
도 5는 기존 근 적외선 방식의 영상과 본 발명에 따른 열적외선(원적외선) 방식의 영상 비교도.
도 6은 본 발명에서 주의 및 경고 영상의 화면 표시 예시도.
이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.
도 3은 본 발명에 따른 "나이트 비전 시스템"은, 열상감지 카메라부(10), 센서부(20), 영상처리부(30) 및 표시장치(40)를 포함한다.
바람직하게 본 발명에 따른 나이트 비전 시스템은, 레인 센서(50) 및 시간정보 제공부(60)를 포함한다.
열상감지 카메라부(10)는 물체에서 발산하는 열적외선을 감지하여 촬영 영상을 출력하는 기능을 한다. 여기서 열적외선(thermal infrared, 熱赤外線)은 가시방사보다 긴 파장범위로 대략 780nm에서 1mm 정도까지의 파장을 말한다.
센서부(20)는 차량의 이동 경로 정보와 속도 정보를 제공하는 기능을 하는 것으로서, 차량의 이동 경로 정보를 제공하는 조향각 센서(21)와, 차량의 속도 정보를 제공하는 차량 속도 센서(22)를 포함한다.
영상처리부(30)는 상기 열상감지 카메라부(10)에서 획득한 촬영 영상과 상기 센서부(20)에 제공하는 차량의 이동 경로 정보 및 속도 정보를 기반으로, 주행 경로를 예측하고, 촬영 영상으로부터 추출한 물체에 대한 주의 또는 경고 영상의 표시를 제어하는 기능을 수행하는 것으로서, 제어장치를 의미한다.
표시장치(40)는 상기 영상처리부(30)에서 제공되는 주의 또는 경고 영상을 화면에 표시해주는 기능을 하는 것으로서, 일반적인 LCD 디스플레이와 OSD가 합해진 기능을 수행한다. 즉, 주행 경로, 주의 및 경고 표시정보, 거리 정보 등을 포함하는 OSD 화면과 촬영 영상을 중첩하여 하나의 화면으로 표시해주게 되는 것이다.
이러한 표시장치(40)는 부가적으로, 주의 또는 경고 영상의 표시시 경고 음성을 송출해주는 기능을 포함한다.
레인 센서(50)는 비를 감지하는 기능을 수행하며, 시간 정보 제공부(60)는 시간 정보를 제공해주는 기능을 수행한다.
이와 같이 구성된 본 발명에 따른 나이트 비전 시스템은, 사용자(운전자)에 의해 나이트 비전 기능이 요구되면(나이트 비전 시스템 온), 열상 감지 카메라부(10)에서 물체에서 발산하는 열적외선을 감지하여 열상 감지 영상을 획득하게 되고, 이렇게 획득한 열상 감지 영상을 영상처리부(30)에 제공한다.
아울러 센서부(20) 내의 조향각 센서(21)는 차량의 이동 경로 정보를 영상 처리부(30)에 제공하게 되고, 차량 속도 센서(22)는 현재 차량의 속도를 측정하여 영상 처리부(30)에 제공한다. 여기서 차량 이동 정보와 차량의 속도 정보는 나이트 비전 시스템이 온 되는 기간 동안 실시간으로 계속해서 차량 이동 경로 정보와 차량 속도 정보를 제공하게 된다.
영상처리부(30)는 입력되는 차량 이동 경로 정보와 차량 속도 정보 및 열상 감지 영상을 기반으로, 운전자가 안전 운행을 도모할 수 있는 영상 정보를 생성하여 표시장치(40)에 제공해준다.
즉, 영상 처리부(30)는 차량 이동 경로 정보를 기반으로 주행 경로를 예측하여, 주행 경로 정보를 생성한다.
아울러 내장된 거리 측정 알고리즘을 통해, 촬영 영상 화면에서 물체의 범위에 해당하는 최하단 픽셀이 디스플레이 창에서 위치하는 위치 정보와 거리에 따른 물체의 크기 정보가 저장된 데이터베이스를 기반으로 실측에 근접하는 물체와의 거리 정보를 추출하게 된다.
그리고 패턴 분석과 형상분석을 기반으로 하는 물체(보행자/장애물) 인식 알고리즘을 통해, 촬영된 영상에서 물체를 추출하고, 상기 추출한 물체가 주행 경로 영역에 포함되는지 포함되지 않는지를 판단하며, 물체가 존재하고 추출한 물체가 주행 경로 영역에 포함되는 경우에는 추출한 거리와 추출한 물체 영상을 경고 영상으로 표시하고(도 6 참조), 상기 추출한 물체가 상기 주행 경로 영역을 벗어난 경우 거리 정보의 표시는 제외하고 주의 영상만을 표시(도 6 참조)해주게 된다.
표시장치(40)는 상기 영상 처리부(30)에서 제공되는 주의 영상 또는 경고 영상을 화면에 표시해주게 된다.
여기서 주의 영상은, 주행 경로 상에 물체가 존재하지 않는 경우의 영상으로서, 물체에 대한 주의 표시 정보가 표시된 OSD 화면과 촬영 영상(열상 감지 영상)이 중첩된 영상을 의미하고, 경고 영상은 주행 경로 상에 물체가 존재할 경우의 영상으로서, 물체에 대한 경고 표시 정보와 물체까지의 거리 정보를 포함하는 OSD 화면과 촬영 영상(열상 감지 영상)이 중첩된 영상을 의미한다.
따라서 운전자는 화면에 표시되는 영상만으로 위험 여부를 알 수 있게 되는 것이다.
도 5는 기존 나이트 비전 시스템에서 근 적외선 촬영을 통해 획득한 영상의 표시 상태와 본 발명에 따른 열적외선(원적외선)을 이용하여 획득한 열상 감지 영상의 표시 상태를 대비한 것으로서, 도 5에 도시한 바와 같이 열적외선을 이용한 열상 감지 영상이 근 적외선 영상에 비해서 더욱 정확하고 선명하게 영상을 보여줌을 알 수 있다.
한편, 본 발명의 다른 특징으로서, 표시장치(40)는 상기 영상처리부(30)의 제어에 따라 경고 영상의 표시시, 위험을 경고해주는 음성을 출력할 수 있다. 이것은 영상 처리부(30)에서 제공해주는 영상이 경고 영상이라는 것을 구분하는 정보만을 제공해줌으로써, 표시장치(40)는 현재 제공되는 영상이 주의 영상인지 아니면 경고 영상인지를 인지할 수 있다. 그리고 인지 결과 경고 영상에 한해서만 내부 메모리 등에 저장된 경고 음성을 송출해줌으로써, 운전자가 좀 더 용이하게 위험 상황을 인지하고, 운전에 만전을 기하도록 함으로써, 안전 운전을 도모하게 되는 것이다.
또한, 본 발명의 또 다른 특징으로서, 상기 영상 처리부(30)는, 레인 센서(50)에 의해 비가 감지되거나 상기 시간 정보 제공부(60)에 의해 제공되는 시간 정보가 열 평형 시간대(새별 4시 ~ 6시)일 경우에는, 나이트 비전 시스템의 상태가 불안정한 상태이므로, 영상을 표시하기 이전에 표시장치(40)를 통해 사용자에게 나이트 비전 시스템의 사용에 주의하라는 주의 정보를 표시해줌으로써, 사용자가 운전에 더욱 심혈을 기울이도록 하여, 더욱 안전 운전을 도모해주게 되는 것이다.
도 4는 본 발명에 따른 "나이트 비전 시스템의 제어방법"을 보인 흐름도로서, 나이트 비전 시스템이 온 된 경우, 열 감지 영상 촬영을 통해 열 감지 영상을 획득하는 영상 획득 단계(S101, S105, S107)와; 차량 조향각 정보와 차량 속도 정보를 기반으로 차량 주행 경로에 대한 OSD를 구현하는 진행방향 구현단계(S109)와; 상기 열 감지 영상으로부터 물체를 추출하는 물체 추출 단계(S111)와; 상기 물체 추출 단계에서 물체가 추출되지 않을 경우, 촬영 영상과 주행 경로 OSD만을 표시해주는 기본 영상 표시단계(S113)와; 상기 물체 추출 단계에서 물체가 추출된 경우, 추출한 물체가 상기 주행 경로 상에 존재하는지를 확인하여, 상기 주행 경로 상에 물체가 존재하지 않을 경우, 주의 모드로 전환하고, 주행 경로, 주의 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 주의영상 표시단계(S115, S117, S119)와; 상기 주행 경로 상에 물체가 존재할 경우, 경고 모드로 전환하고, 주행 경로, 경고 표시, 거리 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 경고 영상 표시단계(S115, S121, S123)를 포함한다.
또한, 본 발명에 따른 "나이트 비전 시스템의 제어방법"은, 상기 나이트 비전 시스템이 온 된 경우, 레인 센서와 시간 정보를 분석하여, 비가 오거나 열평형 시간대일 경우, 시스템 동작이 불안정하다는 경고 정보를 표시장치에 표시해주는 경고정보 표시단계(S103)를 더 포함한다.
이와 같이 이루어지는 본 발명에 따른 나이트 비전 시스템의 제어방법은, 먼저 단계 S101에서 운전자에 의해 나이트 비전 시스템이 온(on) 되면, 단계 S103으로 이동하여 레인 센서의 비 감지 정보와 시간 정보 제공부에서 제공되는 시간 정보를 분석하여, 나이트 비전 시스템의 안정성을 판단한다. 예컨대, 비가 오거나 현재 시간이 열 평형을 이루는 새벽 4시 ~ 6시일 경우에는, 물체 감지에서 정확성이 떨어지기 때문에, 표시장치(40)를 통해 나이트 비전 시스템이 불안정하다는 경고 메시지를 표시해준다. 따라서 이 경우 운전자는 더욱 운전에 심혈을 기울여 안전 운전을 도모하게 된다.
여기서 단계 S103은 반드시 필수적인 상황은 아니고, 부가적인 상황으로서, 필요에 따라 해당 단계를 수행하지 않고 바로 단계 S105의 단계로 이동할 수도 있다.
단계 S105에서는 열상 감지 카메라를 통해 물체에서 발산되는 열 적외선을 촬영하게 되고, 단계 S107에서는 상기와 같이 촬영에서 획득한 열상 감지 영상을 영상처리부에 전송해주게 된다.
단계 S109에서 영상 처리부는 차량 조향각 정보와 속도 정보를 통해 차량의 이동 경로 정보를 생성하여, 차량 진행 방향에 대한 OSD(On Screen Display) 화면을 생성한다.
다음으로, 단계 S111에서는 상기 열상 감지 영상으로부터 물체(보행자 및 장애물)만을 추출하게 되는 데, 이때 물체가 존재하지 않을 경우에는 단계 S113으로 이동하여 촬영 영상과 주행 경로 OSD만을 중첩하여 하나의 화면으로 표시장치에 표시해준다.
이와는 달리 물체가 존재할 경우에는, 단계 S115로 이동하여 물체가 상기 주행 경로 영역에 포함되는지를 확인한다. 이 확인 결과 물체가 주행 경로 영역에 포함되지 않는 경우에는, 단계 S117 및 S119에서 주의 모드로 전환하여 물체에 대해 주의하라는 주의 정보, 주행 경로 정보를 포함하는 OSD 화면과 촬영 영상을 중첩하여 화면에 표시해주게 된다(도 6 참조).
아울러 물체가 상기 주행 경로 영역에 포함될 경우에는, 단계 S121 ~ S123에서 경고 모드로 전환하여 물체에 대한 위험을 알려주는 경고 정보, 주행 경로 정보, 거리 정보를 포함하는 OSD 화면과 촬영 영상을 중첩하여 화면에 표시해주게 된다(도 6 참조). 여기서 거리 정보는 물체와의 거리에 따라 실시간으로 변경해준다.
여기서 본 발명은 부가적으로 경고 모드 시에는 운전에 주의하라는 경고 음성을 송출해줄 수도 있다.
10 : 열상 감지 카메라부 20 : 센서부
21 : 조향각 센서 22 : 차량 속도 센서
30 : 영상 처리부 40 : 표시장치
50 : 레인 센서 60 : 시간 정보 제공부

Claims (8)

  1. 물체에서 발산하는 열적외선을 감지하여 촬영 영상을 출력하는 열상감지 카메라부와;
    차량의 이동 경로 정보와 속도 정보를 제공하는 센서부와;
    상기 열상감지 카메라부에서 획득한 촬영 영상과 상기 센서부에 제공하는 차량의 이동 경로 정보 및 속도 정보를 기반으로, 주행 경로를 예측하고, 촬영 영상으로부터 추출한 물체에 대한 주의 또는 경고 영상의 표시를 제어하는 영상처리부와;
    상기 영상처리부에서 제공되는 주의 또는 경고 영상을 화면에 표시해주는 표시장치와;
    비를 감지하는 레인 센서와;
    시간 정보를 제공해주는 시간 정보 제공부를 포함하고,
    상기 영상 처리부는,
    상기 레인 센서에 의해 비가 감지되거나 상기 시간 정보 제공부에 의해 제공되는 시간 정보가 열 평형 시간대일 경우에는 사용자에게 나이트 비전 시스템의 사용에 주의하라는 주의 정보를 표시토록 제어하는 것을 특징으로 하는 나이트 비전 시스템.
  2. 제1항에 있어서, 상기 센서부는,
    차량의 이동 경로 정보를 제공하는 조향각 센서와;
    차량의 속도 정보를 제공하는 차량 속도 센서를 포함하는 것을 특징으로 하는 나이트 비전 시스템.
  3. 제1항에 있어서, 상기 영상처리부는,
    내장된 거리 측정 알고리즘을 통해, 촬영 영상 화면에서 물체의 범위에 해당하는 최하단 픽셀이 디스플레이 창에서 위치하는 위치 정보와 거리에 따른 물체의 크기 정보가 저장된 데이터베이스를 기반으로 물체와의 거리를 추출하는 것을 특징으로 하는 나이트 비전 시스템.
  4. 제3항에 있어서, 상기 영상처리부는,
    패턴 분석과 형상분석을 기반으로 하는 물체(보행자/장애물) 인식 알고리즘을 통해, 촬영된 영상에서 물체를 추출하고, 상기 추출한 물체가 주행 경로 영역에 포함되는 경우 추출한 거리와 추출한 물체 영상을 경고 영상으로 표시하고, 상기 추출한 물체가 상기 주행 경로 영역을 벗어난 경우 거리 정보의 표시는 제외하고 주의 영상만을 표시해주는 것을 특징으로 하는 나이트 비전 시스템.
  5. 제1항에 있어서, 상기 표시장치는,
    경고 영상의 표시시 경고 음성을 송출해주는 것을 특징으로 하는 나이트 비전 시스템.
  6. 삭제
  7. 열상 감지 카메라부, 센서부, 영상처리부 및 표시장치를 포함하는 나이트 비전 시스템에서의 제어 방법에 있어서,
    나이트 비전 시스템이 온 된 경우, 열 감지 영상 촬영을 통해 열 감지 영상을 획득하는 영상 획득 단계와;
    차량 조향각 정보와 차량 속도 정보를 기반으로 차량 주행 경로에 대한 OSD를 구현하는 진행방향 구현단계와;
    상기 열 감지 영상으로부터 물체를 추출하는 물체 추출 단계와;
    상기 물체 추출 단계에서 물체가 추출되지 않을 경우, 촬영 영상과 주행 경로 OSD만을 표시해주는 기본 영상 표시단계와;
    상기 물체 추출 단계에서 물체가 추출된 경우, 추출한 물체가 상기 주행 경로 상에 존재하는지를 확인하여, 상기 주행 경로 상에 물체가 존재하지 않을 경우, 주의 모드로 전환하고, 주행 경로, 주의 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 주의영상 표시단계와;
    상기 주행 경로 상에 물체가 존재할 경우, 경고 모드로 전환하고, 주행 경로, 경고 표시, 거리 표시에 대한 OSD와 촬영 영상을 중첩하여 표시해주는 경고 영상 표시단계; 및
    상기 나이트 비전 시스템이 온 된 경우, 레인 센서와 시간 정보를 분석하여, 비가 오거나 열평형 시간대일 경우, 시스템 동작이 불안정하다는 경고 정보를 표시장치에 표시해주는 경고정보 표시단계를 포함하는 것을 특징으로 하는 나이트 비전 시스템의 제어방법.
  8. 삭제
KR1020100131252A 2010-12-21 2010-12-21 나이트 비전 시스템 및 그 제어방법 KR101250566B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100131252A KR101250566B1 (ko) 2010-12-21 2010-12-21 나이트 비전 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131252A KR101250566B1 (ko) 2010-12-21 2010-12-21 나이트 비전 시스템 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20120069914A KR20120069914A (ko) 2012-06-29
KR101250566B1 true KR101250566B1 (ko) 2013-04-03

Family

ID=46687890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131252A KR101250566B1 (ko) 2010-12-21 2010-12-21 나이트 비전 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101250566B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103496341A (zh) * 2013-10-10 2014-01-08 扬州瑞控汽车电子有限公司 基于汽车主动安全的车载红外夜视成像系统
CN104702889A (zh) * 2013-12-04 2015-06-10 青岛永通电梯工程有限公司 一种红外夜视检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150088083A (ko) 2014-01-23 2015-07-31 연세대학교 산학협력단 적외선 제어 전기 형광소자
CN113492830B (zh) * 2020-04-08 2023-01-06 华为技术有限公司 一种车辆泊车路径规划方法及相关设备
KR102322909B1 (ko) * 2020-06-26 2021-11-04 구성진 객체 동시 병렬인식 기반 도로 모니터링장치
KR102231373B1 (ko) * 2020-09-23 2021-03-25 김광남 차량 안전 운전용 디스플레이 장치
CN113525234A (zh) * 2021-07-26 2021-10-22 北京计算机技术及应用研究所 一种辅助驾驶系统装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1148828A (ja) * 1997-07-31 1999-02-23 Isuzu Motors Ltd 車両周辺監視装置
JP2008026998A (ja) * 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd 障害物位置算出システム、及び障害物位置算出方法
KR20100006700A (ko) * 2008-07-10 2010-01-21 현대자동차주식회사 차량의 나이트비젼 시스템
KR20100034280A (ko) * 2008-09-23 2010-04-01 현대자동차주식회사 나이트비전 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1148828A (ja) * 1997-07-31 1999-02-23 Isuzu Motors Ltd 車両周辺監視装置
JP2008026998A (ja) * 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd 障害物位置算出システム、及び障害物位置算出方法
KR20100006700A (ko) * 2008-07-10 2010-01-21 현대자동차주식회사 차량의 나이트비젼 시스템
KR20100034280A (ko) * 2008-09-23 2010-04-01 현대자동차주식회사 나이트비전 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103496341A (zh) * 2013-10-10 2014-01-08 扬州瑞控汽车电子有限公司 基于汽车主动安全的车载红外夜视成像系统
CN104702889A (zh) * 2013-12-04 2015-06-10 青岛永通电梯工程有限公司 一种红外夜视检测方法

Also Published As

Publication number Publication date
KR20120069914A (ko) 2012-06-29

Similar Documents

Publication Publication Date Title
KR101250566B1 (ko) 나이트 비전 시스템 및 그 제어방법
JP5392470B2 (ja) 車両用表示装置
JP4882285B2 (ja) 車両用走行支援装置
US8538629B2 (en) Bottleneck light and method of assisting a driver in steering a vehicle
US9965957B2 (en) Driving support apparatus and driving support method
KR101655553B1 (ko) 운전자 보조 장치 및 방법
JP2018195301A (ja) 制御装置及び制御方法
JP5299026B2 (ja) 車両用表示装置
JP5353999B2 (ja) 運転者支援装置
JP2005202678A (ja) 走行支援装置
JP2008013070A (ja) 車両用表示装置
JP2003200755A (ja) 車両用表示装置
KR20120072131A (ko) 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
JP6218618B2 (ja) 運転支援装置、運転支援方法及び運転支援プログラム
CN103568947A (zh) 后侧方警报系统及方法
JP2005025692A (ja) 車両用情報提供装置
CN106476695A (zh) 用于可视性增强的系统和方法
JP2008097279A (ja) 車両外部情報表示装置
JP5192009B2 (ja) 車両の周辺監視装置
KR20150055183A (ko) 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
KR20130074259A (ko) 위험도에 따른 차량 색상 변경 시스템 및 그 방법
US20190129038A1 (en) Monitoring System for a Mobile Device and Method for Monitoring Surroundings of a Mobile Device
JP2011191859A (ja) 車両の周辺監視装置
WO2018212090A1 (ja) 制御装置及び制御方法
JP5251673B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160321

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180321

Year of fee payment: 6