KR20120098107A - 차량 운전자의 시계 보조 시스템 및 방법 - Google Patents
차량 운전자의 시계 보조 시스템 및 방법 Download PDFInfo
- Publication number
- KR20120098107A KR20120098107A KR1020110017830A KR20110017830A KR20120098107A KR 20120098107 A KR20120098107 A KR 20120098107A KR 1020110017830 A KR1020110017830 A KR 1020110017830A KR 20110017830 A KR20110017830 A KR 20110017830A KR 20120098107 A KR20120098107 A KR 20120098107A
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- signal
- image
- pedestrian
- lane
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 abstract description 6
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 3
- 206010020675 Hypermetropia Diseases 0.000 abstract 1
- 230000004297 night vision Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R19/00—Wheel guards; Radiator guards, e.g. grilles; Obstruction removers; Fittings damping bouncing force in collisions
- B60R19/02—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects
- B60R19/48—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds
- B60R19/483—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds with obstacle sensors of electric or electronic type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명은 단일의 카메라 모듈을 사용하여 보행자 인식에 필요한 컬러 화질의 야간 영상 및 차선이탈 경보에 필요한 차선에 대한 영상을 표시하기 위하여, 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈; 상기 카메라 모듈로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 추출하는 신호 추출부; 상기 추출된 RGB 영상 신호를 보간하는 RGB 보간부, 보간된 RGB 영상 신호의 데이터 크기를 상기 IR 보간부에서 보간된 IR 영상 신호의 데이터 크기로 확장하는 신호 확장부 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부로 구성되어 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부; 상기 추출된 IR 영상 신호를 보간하는 IR 보간부와 보간된 IR 영상 신호에 상기 신호 변환부로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부로 구성되어 야간 운행시 보행자를 표시하는 영상에 필요한 데이터를 생성하는 보행자영상 데이터 생성부; 및 상기 차선패턴영상 데이터 생성부 및/또는 보행자영상 데이터 생성부에서 생성된 영상 데이터를 디스플레이에 구현하는 디슬플레이 구동부를 포함하는 차량 운전자의 시계 보조 시스템을 제시한다.
Description
본 발명은 차량 운전자 시계 보조 시스템 및 방법에 관한 것으로, 더욱 상세하게는 단일의 카메라 모듈을 사용하여 보행자 인식에 필요한 컬러 화질의 야간 영상과 차선이탈 경보에 필요한 차선을 표시하는 영상을 구현할 수 있는 차량 운전자 시계 보조 시스템 및 방법에 관한 것이다.
최근의 자동차 기술에는 차량 운행 중의 운전자 편의와 안전을 향상시키기 위하여 자동차의 전,후방을 비롯하여 좌,우측에 카메라를 설치하고 운전석 계기판의 디스플레이를 통해 영상으로 확인할 수 있는 다양한 시스템이 연구 개발되고 있으며 이미 적용되기 시작하였다.
이러한 운전자의 편의를 도모하기 위한 시스템 중 하나로써, 나이트 비젼 시스템(Night Vision System:NVS)은 야간 주행 등 어두운 환경에서의 차량 운행 시 운전자의 시계를 보조하기 위한 장치로써 차량의 전방에 적외선을 방사하고, 이를 카메라로 촬영하여 운전자에게 영상을 제공한다.
이와 같은 나이트 비젼 시스템에 필요한 카레라 모듈의 수평 화각은 대략 17도 정도이고, 보행자 인식을 위해 최소한 VGA급(640x480) 이상의 해상도가 요구된다.
한편, 나이트 비젼 시스템 외에 운전자의 편의를 도모하기 위한 시스템 중 다른 하나로써 차선이탈 경보 시스템(Lane Departure Warning System:LDWS)이 있는데, 이는 차량에 부착된 카메라로부터 차량 전방의 도로 영상을 감지하여 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다.
이와 같은 차선이탈 경보 시스템에 필요한 카메라 모듈의 수평 화각은, 차량 전방의 원거리 및 근거리 차선을 모두 인식해야 하므로 나이트 비젼 시스템에서 요구되는 수평 화각보다 큰 40도 가량이 요구되며, 단순한 패턴으로 이루어진 차선만을 인식하면 되므로, 나이트 비젼 시스템에서 요구되는 해상도보다 낮은 QVGA급(320x240) 정도의 해상도를 만족시키면 된다.
따라서, 나이트 비젼 시스템(Night Vision System:NVS)과 차선이탈 경보 시스템(Lane Departure Warning System:LDWS)을 단일의 카메라 모듈로 구현하기 위해서는 40도 이상의 렌즈 수평 화각에 VGA급(640x480) 이상의 해상도가 필요하다.
그러나, 차량 전방 라이트는 사람의 눈에 가장 감도가 좋은 555nm의 황색 파장을 쓰는데, 전방에 오는 차량 및 운전자 차량의 전조등 불빛에 의해서 나이트 비젼 이미지가 포화되는 블루밍(blooming) 현상을 방지하기 위하여 나이트 비젼 시스템(Night Vision System:NVS)에서 사용되는 대부분의 카메라 모듈에는 650nm 이상만을 통과시키는 적외선 통과 필터(IR Pass Filter)가 배치되고, 차선이탈 시스템에서 사용되는 카메라 모듈에는 가시광선 영역을 벗어나는 적외선에 의한 화질의 열화 현상을 방지하기 위하여 렌즈와 이미지 센서 사이에 적외선을 차단하는 적외선 차단 필터(IR Cut Filter)가 배치된다.
이와 같은 이유로, 나이트 비젼 시스템에서 사용되는 카메라 모듈로는 차선의 색상을 인식하기 위한 컬러 이미지를 구현할 수 없고, 역시 차선이탈 시스템에서 사용되는 카메라 모듈로는 저조도 환경에서 사물을 식별할 수 없어, 단일의 카메라 모듈로써 차선을 표시하는 영상과 야간 운행시 보행자를 표시하는 영상을 동시에 구현하기에 어려운 점이 있다. 따라서, 차선을 표시하는 영상과 야간 운행시 보행자를 표시하는 영상을 동시에 구현하기 위해서는 각각의 시스템에서 요구되는 각각의 카메라 모듈을 사용해야 하고, 이에 따라, 차량 운전자의 시계를 보조하는 시스템 구현에에 있어 많은 비용이 드는 문제가 따르게 된다.
또한, 종래 나이트 비젼 시스템에서 보행자를 표시하는 영상의 경우, 카메라 모듈에 적외선 통과 필터가 배치됨에 따라 흑백의 화질로 구현되어 운전자가 디스플레이를 보고 보행자를 식별하기에 어려움이 있었다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 단일의 카메라 모듈로써 보행자 인식에 필요한 야간 영상과 차선이탈 경보에 필요한 차선패턴영상을 동시에 구현하고, 컬러로 구현되는 보행자 표시 영상을 제공하여 운전자의 시계를 보조하는 차량 운전자의 시계 보조 시스템 및 이를 이용하여 차량 운전자의 시계를 보조하는 방법을 제공함에 본 발명의 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예를 따르면, 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈; 상기 카메라 모듈로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 신호 추출부; 상기 추출된 RGB 영상 신호를 보간하는 RGB 보간부, 보간된 RGB 영상 신호의 데이터 크기를 확장하는 신호 확장부 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부로 구성되어 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부; 상기 추출된 IR 영상 신호를 보간하는 IR 보간부와 보간된 IR 영상 신호에 상기 신호 변환부로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부로 구성되어 보행자를 표시하는 영상에 필요한 데이터를 생성하는 보행자영상 데이터 생성부; 및 상기 차선패턴영상 데이터 생성부 및/또는 보행자영상 데이터 생성부에서 생성된 영상 데이터를 디스플레이에 구현하는 디슬플레이 구동부;를 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 컬러 필터 어레이는 n번째 행 방향으로는 IR필터가 배치되고, n+1번째 행 방향으로는 IR필터와, B, G, R 필터 중 어느 하나의 필터가 교호(交互)적으로 배치되는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 보행자영상 데이터 생성부에서 영상 신호 처리가 수행되기 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리하는 크로핑 수행부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 차선패턴영상 데이터 생성부는 입력 신호에 대해 화이트 밸런스를 적용하는 화이트 밸런스 적용부, 상기 신호 추출부에 의해 추출된 RGB 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제1필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 보행자영상 데이터 생성부는 야간 운행시 어두운 환경에 따른 낮은 신호 레벨의 밝기값을 개선하는 밝기 개선부, 상기 신호 추출부에 의해 추출된 IR 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제2필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 신호 합성부는 상기 IR 보간부에 의해 보간된 IR 영상 신호를 명암 신호 Y로 하고, 상기 신호 변환부에서 출력된 YCbCr 영상 신호 중에서 Cb 신호 및 Cr 신호를 색차 신호로 하여 상기 Y 신호와 Cb, Cr 신호를 합성하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 차선패턴영상 데이터 생성부에서 생성된 영상 데이터로부터 차선을 인식하는 차선 인식부, 상기 차선 인식부에 의해 인식된 차선으로부터 차량이 이탈하는지 판단하는 차선이탈 판단부 및 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
또한, 상기 보행자영상 데이터 생성부에서 생성된 영상 데이터로부터 보행자를 인식하는 보행자 인식부, 보행자와의 거리를 감지하는 거리 감지부, 및 상기 보행자 인식부와 거리 감지부를 기반으로 보행자가 위치하는 영역 정보를 산출하여 위험지역에 내에 보행자가 존재하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템을 제공한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예를 따르면, (a)상기 카메라 모듈로부터 차량 전방의 영상에 대한 광학적 신호를 수광하여 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 단계; (b)상기 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 단계; (c)상기 (b)단계에 의해 추출된 RGB 영상 신호를 보간하고, 상기 보간된 RGB 영상 신호의 데이터 크기를 확장한 다음, YCbCr 영상 신호로 변환하여 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 단계; (d)상기 (b)단계에 의해 추출된 IR 영상 신호를 보간하고, 상기 보간된 IR 영상 신호에 상기 (c)단계에서 변환된 YCbCr 영상 신호를 합성하여 컬러 화질의 보행자를 표시하는 영상에 필요한 데이터를 생성하는 단계; 및 (e)상기 (c)단계 및/또는 (d)단계에서 생성된 영상 데이터를 디스플레이에 구현하는 단계;를 포함하는 차량 운전자의 시계 보조 방법을 제공한다.
또한, 상기 (d)단계의 영상 신호 처리 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리를 수행하는 단계를 더 포함하는 차량 운전자의 시계 보조 방법을 제공한다.
또한, 상기 (c)단계에서 생성된 영상 데이터로부터 차선을 인식하고, 인식된 차선으로부터 차량이 이탈하는지 판단하여 차량이 차선을 이탈하는 경우 경보를 발생시키는 단계를 더 포함하는 차량 운전자의 시계 보조 방법을 제공한다.
본 발명에 따르면, 단일의 카메라 모듈로써 보행자 인식에 필요한 야간 영상과 차선이탈 경보에 필요한 차선패턴영상을 동시에 구현함으로써 적은 비용으로 차량 운전자의 시계를 보조할 수 있다.
또한, 야간 운행시 보행자를 표시하는 영상을 컬러로 구현함으로써 운전자로 하여금 보행자를 명확히 인식하게 할 수 있다.
도 1은 본 발명에 따른 차량 운전자의 시계 보조 시스템의 구성을 도시한 블록도.
도 2는 본 발명의 차량 운전자의 시계 보조 시스템에서 사용되는 8x8 컬러 필터 어레이를 예시한 도면.
도 3은 도 2의 본 발명에 사용되는 컬러 필터 어레이에서 R필터, G필터, B필터만을 표시한 도면.
도 4는 보행자를 표시하는 영상을 구현하기 위해 요구되는 렌즈의 수평 화각을 예시한 도면.
도 5는 본 발명에 따른 차량 운전자의 시계 보조 시스템을 이용하여 차량 운전자의 시계를 보조하는 방법의 순서를 도시한 흐름도.
도 2는 본 발명의 차량 운전자의 시계 보조 시스템에서 사용되는 8x8 컬러 필터 어레이를 예시한 도면.
도 3은 도 2의 본 발명에 사용되는 컬러 필터 어레이에서 R필터, G필터, B필터만을 표시한 도면.
도 4는 보행자를 표시하는 영상을 구현하기 위해 요구되는 렌즈의 수평 화각을 예시한 도면.
도 5는 본 발명에 따른 차량 운전자의 시계 보조 시스템을 이용하여 차량 운전자의 시계를 보조하는 방법의 순서를 도시한 흐름도.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
도 1은 본 발명에 따른 차량 운전자의 시계 보조 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈(100), 상기 카메라 모듈(100)로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 신호 추출부(200), 상기 추출된 RGB 영상 신호를 이용하여 차선 패턴을 표시하는 영상(이하, 차선패턴영상이라 칭함)에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부(500), 상기 추출된 IR 영상 신호를 이용하여 컬러 화질의 보행자를 표시하는 영상(이하, 보행자영상이라 칭함)에 필요한 데이터를 생성하는 보행자영상 데이터 생성부(400) 및 상기 차선패턴영상 데이터 생성부(500) 및/또는 보행자영상 데이터 생성부(400)에서 생성된 영상 데이터를 디스플레이에 구현하는 디스플레이 구동부(600)를 포함할 수 있다.
이미지 파이프(I-Pipe)을 통한 영상 신호 처리(Image Signal Process:ISP)를 위해서는, 먼저 상기 렌즈에 의해 수광된 차량 전방의 영상에 대한 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환해야 하는데, 이는 상기 이미지 센서에 의해 수행될 수 있다. 여기서, 이미지는 센서는 씨씨디(Charged Coupled Device:CCD) 이미지 센서와 씨모스(Complementary Metal Oxide Semiconductor:CMOS) 이미지 센서 등 공지의 이미지 센서를 이용할 수 있고, 본 발명에서는 어느 하나에 한정되지 않는다.
이미지 센서를 구성하는 광 감지 소자(포토사이트(Photosite)로 불리는 작은 감광 다이오드)는 일반적으로 피사체의 광학 신호 세기만을 측정할 뿐 분광 특성은 감지할 수 없으므로, 컬러 필터 어레이(Color Filter Array:CFA)를 배치하여 일정 영역 주파수의 광학 신호만을 통과시켜 컬러 영상을 표현할 수 있다. 다만, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 단일의 카메라 모듈(100)로써 보행자영상 및/또는 차선패턴영상을 구현하고, 상기 보행자영상을 컬러 화질로 구현하는 것이 목적이므로, 종래 차선이탈 경보 시스템이나 나이트 비전 시스템에서 사용되는 컬러 필터 어레이와 달리, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이를 사용할 수 있다.
도 2는 본 발명의 차량 운전자의 시계 보조 시스템에서 사용되는 8x8 컬러 필터 어레이를 예시한 도면이다.
여기서, B 필터는 렌즈를 통해 입사되는 광학적 신호 중에서 청색 색 정보(color information)에 상응하는 신호만을 투과하게 하는 컬러 필터, G 필터는 녹색 색 정보에 상응하는 신호만을 투과하게 하는 컬러 필터, R 필터는 적색 색 정보에 상응하는 신호만을 투과하게 하는 컬러 필터, IR 필터는 미리 정해진 적외선 신호만을 투과하는 필터로써, 도 2를 참조하면, n(여기서, n은 자연수)번째 행 방향으로는 IR필터만이 배치될 수 있고, n+1번째 행 방향으로는 IR필터와, B, G, R 필터 중 어느 하나의 필터가 교호(交互)적으로 배치될 수 있다. 다만, 인간의 시각 시스템이 휘도(luminance) 성분, 즉, 녹색(Green)에 가장 민감하여 녹색(G)성분은 대다수의 센서로 검출되는 반면, 인간의 시각이 더 적은 분해능(resolution)을 갖는 청색(B) 및 적색(R)성분은 소수의 센서로 검출되는 특성에 따라 B 필터, G 필터, R 필터의 비율이 1:2:1이 될 수 있도록 배치될 수 있다.
IR필터, R필터, G필터, B필터가 이와 같이 배치되는 경우, IR필터, R필터, G필터, B필터의 비율이 12:1:2:1가 되므로, IR 영역 주파수의 광학적 신호만을 통과시키는 픽셀의 수가 75%가 되더라도, 예를 들어, 1280x960의 해상도를 가지는 이미지 센서를 사용하면, 추후 상기 디스플레이 구동부(600)에 의해 구현되는 출력 영상이 보행자를 인식하기에 요구되는 VGA급 이상의 화질을 만족시킬 수 있다. 그리고, RGB 영역 주파수의 광학적 신호만을 통과시키는 픽셀의 수가 25%에 불과하더라도, 이 역시 1280x960의 해상도를 가지는 이미지 센서를 사용하면 차선 패턴을 인식하기에 요구되는 QVGA급 이상의 화질을 만족시킬 수 있게 된다.
이상에서 IR필터, R필터, G필터, B필터의 비율이 12:1:2:1이 되는 8x8 컬러 필터 어레이와 이에 대응될 수 있는 1280x960의 해상도를 가지는 이미지 센서를 중심으로 설명하였으나, 보행자 영상 및 차선패턴 영상의 요구 스펙 화질, 또는 연산 씨피유(CPU)나 메모리의 용량 등에 따라 다양한 크기를 갖는 컬러 필터 어레이(예를 들어, 16x16 크기의 컬러 필터 어레이) 및 이에 대응될 수 있는 다양한 해상도(예를 들어 1920x1200, 2048x1536 등의 해상도)를 가지는 이미지 센서를 사용할 수 있고, IR필터, R필터, G필터, B필터의 비율 또한 이에 따라 다양하게 구성될 수 있음은 물론이다.
상기 렌즈에 의해 수광된 광학적 신호가 이미지 센서에 의해 전기적 원시 영상 신호로 변환되어 출력되면, 신호 추출부(200)는 상기 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 선택적으로 추출할 수 있다.
적외선 송출기에서 방사된 적외선 영역의 광학적 신호는 보행자영상을 구현하는 데이터 생성에 사용되고, 가시광선 영역의 광학적 신호는 차선패턴영상을 구현하는 데이터 생성에 사용되므로, 상기 신호 추출부(200)는 카메라 모듈(100)에서 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 분리하여 선택적으로 추출하는 것이다.
이를 위하여, 도 2에 도시된 8x8 컬러 필터 어레이를 사용하는 경우, 컬러 필터 어레이의 R필터, G필터, B필터가 배치된 행에 상응하는 전기적 원시 영상 신호에서 R필터, G필터, B필터의 픽셀값만을 RGB 영상 신호로써 선택적으로 추출하고, 컬러 필터 어레이의 모든 행에 상응하는 전기적 원시 영상 신호에서 IR 픽셀값만을 IR 영상 신호로써 선택적으로 추출할 수 있다.
상기 신호 추출부(200)에 의해 RGB 영상 신호가 분리되어 추출되면, 상기 차선패턴영상 데이터 생성부(500)는 추출된 RGB 영상 신호를 이용하여 차선패턴영상에 필요한 데이터를 생성할 수 있다.
이와 같은 상기 차선 패턴 생성부는 추출된 RGB 영상 신호를 보간하는 RGB 보간부(530), 보간된 RGB 영상 신호의 데이터 크기를 IR 보간부(430)에서 보간된 IR 영상 신호의 데이터 크기로 확장하는 신호 확장부(540) 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부(550)로 구성될 수 있다.
도 2에 도시된 8x8 컬러 필터 어레이의 각 R필터, G필터, B필터는 적색, 녹색 및 청색의 세가지 색 중 하나의 색 정보만을 갖게 되므로 완전한 컬러 영상을 얻기 위하여, 상기 RGB 보간부(530)는 컬러 필터 어레이에서 해당 필터가 가지고 있는 색 정보와 그 주변 필터들이 가지는 색 정보를 참조하여 해당 필터가 갖지 않는 나머지 두 가지 색 정보를 복원하는 알고리즘을 수행할 수 있다.
RGB 영상 신호를 보간하는 방법 중에서 일반적으로 잘 알려진 방법은 주변 픽셀의 평균값을 사용하는 양선형 보간법(bilinear interpolation)이 있다. 다만, 상술한 바와 같이 본 발명에 따른 차량 운전자의 시계 보조 시스템에서 사용되는 컬러 필터 어레이는 IR필터, R필터, G필터, B필터로 구성되므로, 본 발명의 RGB 보간부(530)에서 사용되는 보간법에 대해 구체적으로 살펴보면 다음과 같다.
도 3은 도 2에 도시된 8x8 컬러 필터 어레이에서 R필터, G필터, B필터만을 표시한 도면으로써, 도 3을 참조하면, 예를 들어, B 값만을 가지는 44번 픽셀을 보간하는 경우, 44번 픽셀에서의 G 값은 44번 픽셀 주변의 상하좌우에 위치하는 4개의 픽셀들(28번, 42번, 46번, 60번 픽셀)의 G 값의 평균을 계산하여 보간할 수 있고, 44번 픽셀에서의 R 값은 44번 픽셀의 주변의 대각선 방향에 위치하는 4개의 픽셀들(26번, 30번, 58번, 62번 픽셀)의 R 값의 평균을 계산하여 보간할 수 있다. 이와 같이, 본 발명의 RGB 보간부(530)에서 이루어지는 보간법은 먼저, 컬러 필터 어레이에서 보간하고자 하는 각 R,G,B 필터 주변의 IR 필터의 픽셀값을 제외하고, 보간하고자 하는 필터 주변의 R,G,B 필터의 픽셀값만을 추출하여 양선형 보간법에 따라 RGB 영상 신호를 보간할 수 있다.
신호 확장부(540)는 상기 RGB 보간부(530)에서 출력된 RGB 영상 신호를 입력받아 RGB 영상 신호의 데이터 크기를 IR 보간부(430)에서 보간된 IR 영상 신호의 데이터 크기로 확장하는 알고리즘을 수행할 수 있다.
8x8 컬러 필터 어레이를 사용하여 상기 RGB 보간부(530)에 의해 RGB 영상 신호를 보간하는 경우, 도 3에 도시된 바와 같이, IR 필터를 제외한 R, G, B 필터는 4x4 어레이의 데이터 크기를 가지게 되므로 신호 합성부(440)에서 8x8 어레이의 데이터 크기를 가지는 IR 영상 신호에 YCbCr 신호를 합성하는 위한 전 처리 과정으로써 보간된 RGB 영상 신호의 데이터 크기(4x4 데이터 크기)를 IR 영상 신호의 데이터 크기(8x8 데이터 크기)만큼 확장하는 것이며, 이는 이미지 스케일러 방법인 바이-리니어(bi-linear) 스케일링 방식 또는 바이-큐빅(Bi-cubic) 스케일링 방식 등에 의해 수행될 수 있다.
상기 신호 확장부(540)에 의해 RGB 영상 신호의 데이터의 크기가 확장되면, 신호 변환부(550)는 ITU.BT-709 표준에 따라 다음 수학식 1에 정의된 바와 같이 매트릭스 연산을 통해 RGB 영상 신호를 YCbCr 색 공간의 영상 신호로 변환하는 알고리즘을 수행할 수 있다.
이와 같은 연산을 통해 휘도성분(Y)과 채도성분(CbCr)이 분리될 수 있으며, 여기서, Y는 빛의 밝음과 어두움을 표현하는 명암 정보이고, Cb은 명암 신호 Y와 B 신호와의 차이, Cr은 명암 신호 Y와 R 신호와의 차이를 나타낸다.
일반적으로 RGB 신호를 YCbCr 신호로 변환하는 이유는, 영상의 노이즈나 선명도는 주로 Y 성분과 관련이 있기 때문에 RGB 신호 모두를 처리하기보다는 Y 성분만을 처리하여 연산 과정을 단순화하기 위함이나, 본 발명에서는 이와 같은 이유 외에도 변환된 YCbCr 신호를 신호 합성부(440)로 출력하여 IR 영상 신호에 합성하여 컬러 화질의 보행자영상을 구현하기 위한 측면도 포함한다. YCbCr 신호를 IR 영상 신호에 합성하는 방법에 대해서는 후술하는 신호 합성부(440)에서 설명하기로 한다.
상기 차선패턴영상 데이터 생성부(500)에 포함된 RGB 보간부(530), 신호 확장부(540), 그리고 신호 변환부(550)에 따라 차선패턴영상을 표시하기 위한 데이터가 생성되면, 상기 디슬플레이 구동부는 상기 차선패턴영상 데이터 생성부(500)로부터 출력된 신호 데이터를 입력받아 사용자의 디스플레이에 차선패턴영상을 표시할 수 있다.
한편, 상기 차선패턴영상 데이터 생성부(500)는 보다 선명한 화질의 영상을 구현하기 위해, 차량 전조등에 의해 카메라가 차선의 색상을 다르게 인식하는 현상을 제어하기 위한 화이트 밸런스를 적용하는 알고리즘이 수행되는 화이트 밸런스(White Balance:WB) 적용부(510)와, 추출된 RGB 영상 신호에서 노이즈로 작용하는 성분을 제거하는 노이즈 제거 알고리즘을 수행하는 제1필터링부(520)를 상기 RGB 보간부(530) 전에 추가로 포함할 수 있다. 따라서, 상기 화이트 밸런스 적용부(510)는 입력 신호에 대해 그레이 객체로 판단되는 포인트를 추출하여 그레이 객체의 색 정보(color information)을 바탕으로 색 온도(color temperature)를 추정하고, 이를 보정하기 위하여 RGB 채널에 적절한 이득값(gain)을 곱하여 출력 신호의 색을 알맞게 조정할 수 있으며, 상기 제1필터링부(520)는 일반적으로 저역통과필터(Low Pass Filter:LPF)를 적용하는 방식으로 노이즈 성분을 제거할 수 있고 본 발명에서는 어느 하나의 방식으로 한정되지 않는다.
이상에서 상기 신호 추출부(200)에서 추출된 RGB 영상 신호를 이용하여 차선패턴영상을 표시하기 위한 영상 신호 처리부에 대해 설명하였다. 이제, 상기 신호 추출부(200)에서 추출된 IR 영상 신호를 이용하여 컬러 화질의 보행자영상을 표시하기 위한 영상 신호 처리부에 대해 설명하기로 한다.
상기 신호 추출부(200)에 의해 IR 영상 신호가 분리되어 추출되면, 상기 보행자영상 데이터 생성부(400)는 추출된 IR 영상 신호를 이용하여 컬러 화질의 보행자영상에 필요한 데이터를 생성할 수 있다.
이와 같은 보행자영상 데이터 생성부(400)는 상기 추출된 IR 영상 신호를 보간하는 IR 보간부(430)와 보간된 IR 영상 신호에 상기 신호 변환부(550)로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부(440)로 구성될 수 있다.
상기 IR 보간부(430)는 R필터, G필터, B필터 주변의 IR필터 신호들의 평균값으로 IR 영상 신호를 보간할 수 있다. 즉, IR 영상 신호를 보간하기 위해서는, 도 2에 도시된 10, 12, 14, 16, 26, 28, 30, 32, 42, 44, 46, 48, 58, 58, 60, 62, 64번 픽셀에 해당하는 신호를 보간해야 하는데, 일 례로써, 10번 픽셀의 경우 10번 픽셀 주변의 상하좌우에 위치한 픽셀들(2, 9, 11, 18번 픽셀)에 해당하는 IR 픽셀값들의 평균을 계산하여 보간할 수 있고, 마찬가지로, 나머지 12, 14, 16, 26, 28, 30, 32, 42, 44, 46, 48, 58, 58, 60, 62, 64번 픽셀에 대해서도 이와 동일한 방법으로 하여 IR 영상 신호를 보간할 수 있다.
상기 IR 보간부(430)에서 보간된 IR 영상 신호가 출력되면, 상기 신호 합성부(440)는 이를 입력받아 상기 신호 변환부(550)로부터 출력된 YCbCr 영상 신호를 입력받은 IR 영상 신호에 합성하는 알고리즘을 수행하여 컬러 화질의 보행자영상 데이터를 생성할 수 있다.
YCbCr 영상 신호를 IR 영상 신호에 합성하는 알고리즘에 대해 구체적으로 살펴보면, 상기 IR 보간부(430)에 의해 보간된 IR 영상 신호를 명암 신호 Y로 간주하고, 상기 신호 변환부(550)에 의해 변환된 YCbCr 신호 중에서 Cb 신호 및 Cr 신호만을 색차 신호로 활용하여 IR 영상 신호에서 얻어진 Y와 RGB 영상 신호에서 얻어진 Cb 및 Cr 신호를 합성함으로써 어두운 곳을 밝게 감광할 수 있는 IR 영상에 색상 정보가 더해진 컬러 화질의 보행자영상 데이터를 생성할 수 있다.
상기 보행자영상 데이터 생성부(400)에 포함된 IR 보간부(430), 신호 합성부(440)에 따라 컬러 화질의 보행자영상을 표시하기 위한 데이터가 생성되면, 상기 디슬플레이 구동부는 상기 보행자영상 데이터 생성부(400)로부터 출력된 신호 데이터를 입력받아 사용자의 디스플레이에 보행자영상을 표시할 수 있다.
한편, 상기 보행자영상 데이터 생성부(400)는 보다 선명한 화질의 영상을 구현하기 위해, 야간 운행시 어두운 환경에 따른 낮은 신호 레벨값을 개선하는 알고리즘을 수행하는 밝기 개선부(410), 추출된 IR 영상 신호에서 노이즈로 작용하는 성분을 제거하는 노이즈 제거 알고리즘을 수행하는 제2필터링부(420)를 상기 IR 보간부(430) 전에 추가로 포함할 수 있다.
상기 밝기 개선부(410)는 감마 변환(Gamma Curve) 및 히스토그램 스트레칭(Histogram Stretching) 또는 히스토그램 이퀄라이져(Histogram Equalizer) 등과 같은 방법을 사용하여 입력 신호의 밝기값을 향상시킬 수 있고, 상기 제2필터링부(420)는 상기 제1필터링부(520)와 같이 저역통과필터(Low Pass Filter:LPF)를 적용하는 방식으로 노이즈 성분을 제거할 수 있다. 본 발명에서는 편의상 차선패턴영상 데이터 생성부(500)에 포함되는 필터링부를 제1필터링부(520), 보행자영상 데이터 생성부(400)에 포함되는 필터링부를 제2필터링부(420)로 구별하였으나, 당업자의 입장에서 제1필터링부(520)와 제2필터링부(420)는 경우에 따라 동일 처리 장치에서 수행될 수 있음은 당연하다.
한편, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 상기 보행자영상 데이터 생성부(400)의 신호 처리에 앞서, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역에 대해서만 신호 처리를 할 수 있도록 관심 영역에 해당하는 부분을 제외한 잔여 부분을 크로핑(cropping)하는 크로핑 수행부(300)를 추가로 포함할 수 있다.
도 4는 보행자 영상을 구현하기 위해 요구되는 렌즈의 수평 화각을 예시한 도면으로써, 도 4를 참조하면, 보행자 영상의 경우, 차량 전방의 원거리 및 근거리 차선까지 모두 인식하여 이를 표시해야 하는 차선패턴영상과 달리, 원거리에 위치한 사물을 인식하여 표시하면 되므로 보행자를 표시하는 영상에서 요구되는 렌즈의 수평 화각은 17도 가량이 된다. 따라서, 보행자를 표시하는데 필요한 영상 데이터를 생성하기 전, 미리 설정된 영상 영역의 위치 정보에 따라 보행자가 위치하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리한 다음, 관심 영역에 해당하는 영상 신호에 대해서만 처리함으로써 필요 이외의 연산 과정을 피할 수 있다.
또한, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 상기 차선패턴영상 데이터 생성부(500)에서 생성된 영상 데이터로부터 차선을 인식하는 차선 인식부(700)와, 상기 차선 인식부(700)에 의해 인식된 차선으로부터 차량이 이탈하는지 판단하는 차선이탈 판단부(800) 및 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보부(900)를 추가로 포함할 수 있다.
상기 차선 인식부(700)는 대한민국 공개 특허(출원번호:20090059804, 20080033034)에 게시된 방법 등을 이용하여 차선 변경이 가능한 점선, 차선 변경이 허용되지 않는 실선 등 차선의 종류와 일반 차선인 흰색, 중앙선인 황색, 버스 전용 차선인 청색 등 차선의 색상을 인식하고, 상기 차선이탈 판단부(800)는 상기 차선 인식부(700)로부터 데이터를 입력받아 차량이 차선 변경이 가능하지 않은 실선이나 중앙선 또는 버스 전용차선에 접근하는 경우 경보부(900)에 의해 경고를 발생시킴으로써 차량 운전자의 안전을 보다 확실하게 보장할 수 있다.
그리고, 본 발명에 따른 차량 운전자의 시계 보조 시스템은 상기 보행자영상 데이터 생성부에서 생성된 영상 데이터로부터 보행자를 인식하는 보행자 인식부(1000), 상기 보행자 인식부에 의해 인식된 보행자와의 거리를 감지하는 거리 감지부(1100), 및 상기 보행자 인식부와 거리 감지부를 기반으로 보행자가 위치하는 영역 정보를 산출하여 위험지역에 내에 보행자가 존재하는 경우 경보를 발생시키는 경보부(1200)를 추가로 포함할 수 있다.
여기서, 상기 보행자 인식부(1000)는 미국특허공보 20070230792호 등 일반 공지의 기술을 이용하여 그 기능을 수행할 수 있고, 거리 감지부(1100)는 보행자와의 거리를 감지하기 위한 기능을 수행하는 거리감지 센서, 구체적으로 적외선 센서, 레이저 센서 등을 이용할 수 있다.
이제, 본 발명에 따른 차량 운전자의 시계 보조 시스템을 이용하여 차량 운전자의 시계를 보조하는 방법에 대하여 살펴보기로 한다.
도 5는 본 발명에 따른 차량 운전자의 시계 보조 시스템을 이용하여 차량 운전자의 시계를 보조하는 방법의 순서를 도시한 흐름도이다.
도 5를 참조하면, 본 발명에 따른 차량 운전자의 시계 보조 방법은, 먼저, 상기 카메라 모듈(100)로부터 차량 전방의 영상에 대한 광학적 신호를 수광하여 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 단계(S101)를 수행할 수 있다.
그 다음, 상기 신호 추출부(200)에서 상기 전기적 원시 영상 신호에서 RGB 영상 신호 또는 IR 영상 신호를 추출하는 단계(S102)를 수행할 수 있다.
그 다음, 상기 S102 단계에서 추출된 RGB 영상 신호를 상기 차선패턴영상 데이터 생성부(500)에서 보간 및 신호 데이터의 크기를 IR 영상 신호의 데이터 크기만큼 확장하고 이를 YCbCr 영상 신호로 변환하여 차선패턴영상에 필요한 데이터를 생성하거나, 상기 S102 단계에서 추출된 IR 영상 신호를 상기 보행자영상 데이터 생성부(400)에서 보간하고, 상기 신호 변환부(550)로부터 출력된 YCbCr 영상 신호를 보간된 IR 영상 신호에 합성하여 컬러 화질의 보행자영상에 필요한 데이터를 생성하는 단계(S104)를 수행할 수 있다. RGB, IR 신호를 보간하거나 신호 데이터의 크기를 확장, 변환, 합성하는 방법에 대해서는 상술한 바와 같으므로 이에 대한 설명은 생략하기로 한다.
한편, 상기 S104 단계는 보다 선명한 차선패턴영상을 구현하기 위해 상기 화이트 밸런스(White Balance) 적용부(510)에서 입력 신호에 대해에 대하여 화이트 밸런스를 적용하는 알고리즘, 상기 제1필터링부(520)에서 노이즈로 작용하는 성분을 제거하는 알고리즘을 추가로 수행할 수 있고, 마찬가지로, 보다 선명한 보행자영상을 구현하기 위해 상기 밝기 개선부(410)에서 신호 레벨의 밝기값을 개선하는 알고리즘, 상기 제2필터링부(420)에서 노이즈로 작용하는 성분을 제거하는 알고리즘을 추가로 수행할 수 있다.
상기 S104 단계에 따라 차선패턴영상 또는 보행자영상에 필요한 데이터가 생성되면, 상기 보행자영상 데이터 생성부(400) 및/또는 차선패턴영상 데이터 생성부(500)로부터 출력된 신호 데이터를 입력받아 사용자의 디스플레이에 차선패턴영상 및/또는 보행자영상을 표시하는 단계(S105)를 수행할 수 있으며, 이는 상기 디스플레이 구동부(600)에서 수행될 수 있다.
한편, 본 발명에 따른 차량 운전자의 시계 보조 방법은 상기 S104 단계에서 보행자영상 데이터를 생성하기 전, 상기 크로핑 수행부(300)에 의해 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑(cropping) 처리를 수행하는 단계(S103)를 추가로 포함할 수 있다.
또한, 상기 차선패턴영상 데이터 생성부(500)에서 생성된 영상 신호 데이터로부터 차선을 인식하고, 인식된 차선으로부터 차량이 이탈하는지 판단하여 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보 단계(S106)를 추가로 포함할 수 있다.
명세서에 기재되는 실시예와 도면에 도시되는 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
100 : 카메라 모듈
200 : 신호 추출부
300 : 크로핑 수행부
400 : 보행자영상 데이터 생성부
410 : 밝기 개선부
420 : 제2필터링부
430 : IR 보간부
440 : 신호 합성부
500 : 차선패턴영상 데이터 생성부
510 : 화이트 밸런스 적용부
520 : 제1필터링부
530 : RGB 보간부
540 : 신호 확장부
550 : 신호 변환부
600 : 디스플레이 구동부
700 : 차선 인식부
800 : 차선이탈 판단부
900 : 경보부
1000 : 보행자 인식부
1100 : 거리 감지부
1200 : 경보부
200 : 신호 추출부
300 : 크로핑 수행부
400 : 보행자영상 데이터 생성부
410 : 밝기 개선부
420 : 제2필터링부
430 : IR 보간부
440 : 신호 합성부
500 : 차선패턴영상 데이터 생성부
510 : 화이트 밸런스 적용부
520 : 제1필터링부
530 : RGB 보간부
540 : 신호 확장부
550 : 신호 변환부
600 : 디스플레이 구동부
700 : 차선 인식부
800 : 차선이탈 판단부
900 : 경보부
1000 : 보행자 인식부
1100 : 거리 감지부
1200 : 경보부
Claims (11)
- 차량 전방의 영상에 대한 광학적 신호를 수광하는 렌즈와, IR필터, R필터, G필터, B필터로 이루어진 컬러 필터 어레이와, 상기 수광된 광학적 신호를 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 이미지 센서로 이루어진 카메라 모듈;
상기 카메라 모듈로부터 출력된 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 신호 추출부;
상기 추출된 RGB 영상 신호를 보간하는 RGB 보간부, 보간된 RGB 영상 신호의 데이터 크기를 확장하는 신호 확장부 및 확장된 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 신호 변환부로 구성되어 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 차선패턴영상 데이터 생성부;
상기 추출된 IR 영상 신호를 보간하는 IR 보간부와 보간된 IR 영상 신호에 상기 신호 변환부로부터 출력된 YCbCr 영상 신호를 합성하는 신호 합성부로 구성되어 보행자를 표시하는 영상에 필요한 데이터를 생성하는 보행자영상 데이터 생성부; 및
상기 차선패턴영상 데이터 생성부 및/또는 보행자영상 데이터 생성부에서 생성된 영상 데이터를 디스플레이에 구현하는 디슬플레이 구동부;
를 포함하는 차량 운전자의 시계 보조 시스템.
- 제 1 항에 있어서,
상기 컬러 필터 어레이는 n번째 행 방향으로는 IR필터가 배치되고, n+1번째 행 방향으로는 IR필터와, B, G, R 필터 중 어느 하나의 필터가 교호(交互)적으로 배치되는 차량 운전자의 시계 보조 시스템.
- 제 1 항에 있어서,
상기 보행자영상 데이터 생성부에서 영상 신호 처리가 수행되기 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리하는 크로핑 수행부를 더 포함하는 차량 운전자의 시계 보조 시스템.
- 제 1 항에 있어서,
상기 차선패턴영상 데이터 생성부는 입력 신호에 대해 화이트 밸런스를 적용하는 화이트 밸런스 적용부, 상기 신호 추출부에 의해 추출된 RGB 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제1필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템.
- 제 1 항에 있어서,
상기 보행자영상 데이터 생성부는 야간 운행시 어두운 환경에 따른 낮은 신호 레벨의 밝기값을 개선하는 밝기 개선부, 상기 신호 추출부에 의해 추출된 IR 영상 신호에서 노이즈로 작용하는 성분을 제거하는 제2필터링부를 더 포함하는 차량 운전자의 시계 보조 시스템.
- 제 1 항에 있어서,
상기 신호 합성부는 상기 IR 보간부에 의해 보간된 IR 영상 신호를 명암 신호 Y로 하고, 상기 신호 변환부에서 출력된 YCbCr 영상 신호 중에서 Cb 신호 및 Cr 신호를 색차 신호로 하여 상기 Y 신호와 Cb, Cr 신호를 합성하는 차량 운전자의 시계 보조 시스템.
- 제 1 항에 있어서,
상기 차선패턴영상 데이터 생성부에서 생성된 영상 데이터로부터 차선을 인식하는 차선 인식부, 상기 차선 인식부에 의해 인식된 차선으로부터 차량이 이탈하는지 판단하는 차선이탈 판단부 및 차량이 차선을 이탈하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템.
- 제 1 항에 있어서,
상기 보행자영상 데이터 생성부에서 생성된 영상 데이터로부터 보행자를 인식하는 보행자 인식부, 보행자와의 거리를 감지하는 거리 감지부, 및 상기 보행자 인식부와 거리 감지부를 기반으로 보행자가 위치하는 영역 정보를 산출하여 위험지역에 내에 보행자가 존재하는 경우 경보를 발생시키는 경보부를 더 포함하는 차량 운전자의 시계 보조 시스템.
- (a)상기 카메라 모듈로부터 차량 전방의 영상에 대한 광학적 신호를 수광하여 영상 처리에 필요한 전기적 원시 영상 신호로 변환하는 단계;
(b)상기 전기적 원시 영상 신호에서 RGB 영상 신호 및/또는 IR 영상 신호를 추출하는 단계;
(c)상기 (b)단계에 의해 추출된 RGB 영상 신호를 보간하고, 상기 보간된 RGB 영상 신호의 데이터 크기를 확장한 다음, YCbCr 영상 신호로 변환하여 차선 패턴을 표시하는 영상에 필요한 데이터를 생성하는 단계;
(d)상기 (b)단계에 의해 추출된 IR 영상 신호를 보간하고, 상기 보간된 IR 영상 신호에 상기 (c)단계에서 변환된 YCbCr 영상 신호를 합성하여 컬러 화질의 보행자를 표시하는 영상에 필요한 데이터를 생성하는 단계; 및
(e)상기 (c)단계 및/또는 (d)단계에서 생성된 영상 데이터를 디스플레이에 구현하는 단계;
를 포함하는 차량 운전자의 시계 보조 방법.
- 제 9 항에 있어서,
상기 (d)단계의 영상 신호 처리 전, 보행자 인식에 필요한 렌즈의 수평 화각에 상응하는 관심 영역을 제외한 잔여 부분에 대해 크로핑 처리를 수행하는 단계를 더 포함하는 차량 운전자의 시계 보조 방법.
- 제 9 항에 있어서,
상기 (c)단계에서 생성된 영상 데이터로부터 차선을 인식하고, 인식된 차선으로부터 차량이 이탈하는지 판단하여 차량이 차선을 이탈하는 경우 경보를 발생시키는 단계를 더 포함하는 차량 운전자의 시계 보조 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110017830A KR101761921B1 (ko) | 2011-02-28 | 2011-02-28 | 차량 운전자의 시계 보조 시스템 및 방법 |
| US13/159,667 US8767074B2 (en) | 2011-02-28 | 2011-06-14 | System and method of assisting visibility of driver |
| DE102011105628.2A DE102011105628B4 (de) | 2011-02-28 | 2011-06-28 | System zur Unterstützung der Sicht eines Fahrers |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110017830A KR101761921B1 (ko) | 2011-02-28 | 2011-02-28 | 차량 운전자의 시계 보조 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120098107A true KR20120098107A (ko) | 2012-09-05 |
| KR101761921B1 KR101761921B1 (ko) | 2017-07-27 |
Family
ID=46635271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110017830A KR101761921B1 (ko) | 2011-02-28 | 2011-02-28 | 차량 운전자의 시계 보조 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8767074B2 (ko) |
| KR (1) | KR101761921B1 (ko) |
| DE (1) | DE102011105628B4 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180053364A (ko) * | 2016-01-15 | 2018-05-21 | 구글 엘엘씨 | 카메라들의 수를 줄인 가상 현실 헤드 장착형 장치들 및 그 동작 방법들 |
| US10005473B2 (en) | 2013-12-12 | 2018-06-26 | Lg Electronics Inc. | Stereo camera, vehicle driving auxiliary device having same, and vehicle |
| CN108290499A (zh) * | 2015-11-24 | 2018-07-17 | 康蒂-特米克微电子有限公司 | 带有自适应周围环境图像数据处理功能的驾驶员辅助系统 |
| KR102231373B1 (ko) * | 2020-09-23 | 2021-03-25 | 김광남 | 차량 안전 운전용 디스플레이 장치 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101295092B1 (ko) * | 2011-12-28 | 2013-08-09 | 현대자동차주식회사 | 차량용 색상검출기 |
| EP2763397A1 (de) * | 2013-02-05 | 2014-08-06 | Burg-Wächter Kg | Fotosensor |
| US10136107B2 (en) * | 2013-11-21 | 2018-11-20 | Semiconductor Components Industries, Llc | Imaging systems with visible light sensitive pixels and infrared light sensitive pixels |
| CN106663193B (zh) * | 2014-05-14 | 2020-12-25 | 御眼视觉技术有限公司 | 用于路缘检测和行人危险评估的系统和方法 |
| JP6568719B2 (ja) * | 2014-08-29 | 2019-08-28 | 株式会社 日立産業制御ソリューションズ | 撮像方法及び撮像装置 |
| WO2016073620A1 (en) | 2014-11-06 | 2016-05-12 | Maven Machines, Inc. | System for monitoring vehicle operator compliance with safe operating conditions |
| DE102015005697B4 (de) * | 2015-05-04 | 2019-10-02 | Mekra Lang Gmbh & Co. Kg | Kamerasystem für ein Kraftfahrzeug |
| US10574909B2 (en) | 2016-08-08 | 2020-02-25 | Microsoft Technology Licensing, Llc | Hybrid imaging sensor for structured light object capture |
| WO2018088804A1 (en) | 2016-11-08 | 2018-05-17 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| US20180164156A1 (en) * | 2016-12-12 | 2018-06-14 | Microsoft Technology Licensing, Llc | Hybrid Sensor with Enhanced Infrared Detection Capabilities |
| KR101994699B1 (ko) * | 2017-09-15 | 2019-07-01 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 차량 |
| CN111837155A (zh) * | 2018-12-17 | 2020-10-27 | 深圳市大疆创新科技有限公司 | 图像处理方法及设备 |
| CN111726568B (zh) * | 2019-10-10 | 2021-11-16 | 山东远致电子科技有限公司 | 基于信号分析的定向监控系统及方法 |
| CN111225186B (zh) * | 2020-01-15 | 2023-04-18 | 深圳市天智汽车电子技术有限公司 | 一种行车安全辅助驾驶全彩夜视显示方法及夜视仪 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6803955B1 (en) * | 1999-03-03 | 2004-10-12 | Olympus Corporation | Imaging device and imaging apparatus |
| JP3782322B2 (ja) | 2001-07-11 | 2006-06-07 | 株式会社日立製作所 | 車載用画像処理カメラ装置 |
| JP4060159B2 (ja) * | 2002-01-18 | 2008-03-12 | 本田技研工業株式会社 | 車両周辺監視装置 |
| US20070230792A1 (en) | 2004-04-08 | 2007-10-04 | Mobileye Technologies Ltd. | Pedestrian Detection |
| US20050262934A1 (en) | 2004-05-25 | 2005-12-01 | Sensfab Pte Ltd | Tyre pressure monitoring sensor |
| JP4414369B2 (ja) * | 2005-06-03 | 2010-02-10 | 本田技研工業株式会社 | 車両及び路面標示認識装置 |
| JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
| JP4596268B2 (ja) * | 2006-02-14 | 2010-12-08 | ソニー株式会社 | 撮像装置 |
| KR20080029051A (ko) | 2006-09-28 | 2008-04-03 | 엠텍비젼 주식회사 | 이미지 센서를 구비한 장치 및 영상 획득 방법 |
| KR20090059804A (ko) | 2007-12-07 | 2009-06-11 | 주식회사 실트론 | 접합강도 시험 장치 및 시험 방법 |
| US20090159799A1 (en) * | 2007-12-19 | 2009-06-25 | Spectral Instruments, Inc. | Color infrared light sensor, camera, and method for capturing images |
| JP2009253579A (ja) * | 2008-04-04 | 2009-10-29 | Panasonic Corp | 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム |
| EP2289235A4 (en) * | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
| JP4797049B2 (ja) * | 2008-08-11 | 2011-10-19 | 日立オートモティブシステムズ株式会社 | 道路標示認識装置 |
| WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
| US8411245B2 (en) * | 2009-02-06 | 2013-04-02 | Gentex Corporation | Multi-display mirror system and method for expanded view around a vehicle |
| US8248496B2 (en) * | 2009-03-10 | 2012-08-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and image sensor |
| CA2666470A1 (en) * | 2009-05-21 | 2010-11-21 | Pierre Benoit Boulanger | Multi-spectral color and ir camera based on multi-filter array |
| EP2466837B1 (en) | 2009-08-14 | 2020-05-20 | LG Electronics Inc. | Method and apparatus for transmitting downlink reference signal in wireless communication system that supports multiple antennas |
| US8514491B2 (en) * | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8737727B2 (en) * | 2010-12-30 | 2014-05-27 | Pelco, Inc. | Color similarity sorting for video forensics search |
-
2011
- 2011-02-28 KR KR1020110017830A patent/KR101761921B1/ko active IP Right Grant
- 2011-06-14 US US13/159,667 patent/US8767074B2/en active Active
- 2011-06-28 DE DE102011105628.2A patent/DE102011105628B4/de active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10005473B2 (en) | 2013-12-12 | 2018-06-26 | Lg Electronics Inc. | Stereo camera, vehicle driving auxiliary device having same, and vehicle |
| CN108290499A (zh) * | 2015-11-24 | 2018-07-17 | 康蒂-特米克微电子有限公司 | 带有自适应周围环境图像数据处理功能的驾驶员辅助系统 |
| KR20180053364A (ko) * | 2016-01-15 | 2018-05-21 | 구글 엘엘씨 | 카메라들의 수를 줄인 가상 현실 헤드 장착형 장치들 및 그 동작 방법들 |
| US10990186B2 (en) | 2016-01-15 | 2021-04-27 | Google Llc | Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same |
| KR102231373B1 (ko) * | 2020-09-23 | 2021-03-25 | 김광남 | 차량 안전 운전용 디스플레이 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120218410A1 (en) | 2012-08-30 |
| DE102011105628A1 (de) | 2012-08-30 |
| US8767074B2 (en) | 2014-07-01 |
| DE102011105628B4 (de) | 2022-12-15 |
| KR101761921B1 (ko) | 2017-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20120098107A (ko) | 차량 운전자의 시계 보조 시스템 및 방법 | |
| JP5171723B2 (ja) | 障害物検知装置、および当該装置を搭載した車両 | |
| JP4466569B2 (ja) | カラー画像再生装置 | |
| KR101824290B1 (ko) | 고해상도 멀티스펙트럼 이미지 캡처 기법 | |
| JP6729394B2 (ja) | 画像処理装置、画像処理方法、プログラム及びシステム | |
| US20130002936A1 (en) | Image pickup apparatus, image processing apparatus, and storage medium storing image processing program | |
| CN107211096B (zh) | 摄像装置和方法以及记录介质 | |
| JP2010272067A (ja) | 画像処理装置 | |
| JP2013255144A (ja) | 撮像装置 | |
| JP2009089158A (ja) | 撮像装置 | |
| TWI842952B (zh) | 攝像裝置 | |
| US11943549B2 (en) | Imaging apparatus and electronic equipment | |
| JP2017011633A (ja) | 撮像装置 | |
| KR101070050B1 (ko) | 복합 기능 카메라 모듈 | |
| CN104205170B (zh) | 物体检测装置及物体检测方法 | |
| JP2007045336A (ja) | 障害物検出システム及び障害物検出方法 | |
| JP2012227758A (ja) | 画像信号処理装置及びプログラム | |
| JP6867023B2 (ja) | 移動体用映像表示装置およびその方法 | |
| EP2830020B1 (en) | Object detection device and program | |
| JP4457077B2 (ja) | 障害物検出システム、及び障害物検出方法 | |
| JP5058128B2 (ja) | 撮像装置及び携帯機器 | |
| Kidono et al. | Visibility estimation under night-time conditions using a multiband camera | |
| JP7121538B2 (ja) | 撮像装置及び撮像方法 | |
| JP2011155365A (ja) | 画像処理装置および画像処理方法 | |
| JP2017118283A (ja) | カメラシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |