KR101601475B1 - 야간 주행 시 차량의 보행자 검출장치 및 방법 - Google Patents

야간 주행 시 차량의 보행자 검출장치 및 방법 Download PDF

Info

Publication number
KR101601475B1
KR101601475B1 KR1020140110943A KR20140110943A KR101601475B1 KR 101601475 B1 KR101601475 B1 KR 101601475B1 KR 1020140110943 A KR1020140110943 A KR 1020140110943A KR 20140110943 A KR20140110943 A KR 20140110943A KR 101601475 B1 KR101601475 B1 KR 101601475B1
Authority
KR
South Korea
Prior art keywords
image
pedestrian
camera
area
detecting
Prior art date
Application number
KR1020140110943A
Other languages
English (en)
Other versions
KR20160024297A (ko
Inventor
오영철
허명선
이완재
유병용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140110943A priority Critical patent/KR101601475B1/ko
Priority to US14/562,686 priority patent/US10391937B2/en
Priority to CN201410810986.9A priority patent/CN105787917B/zh
Publication of KR20160024297A publication Critical patent/KR20160024297A/ko
Application granted granted Critical
Publication of KR101601475B1 publication Critical patent/KR101601475B1/ko
Priority to US15/391,310 priority patent/US10150415B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 야간 주행 시 차량의 보행자 검출장치 및 방법에 관한 것으로, 본 발명에 따른 보행자 검출장치는 야간 주행 중 차량주변에 대한 컬러 정보를 포함하는 제1영상을 촬영하는 제1카메라와, 상기 차량주변에 대한 열분포 정보를 포함하는 제2영상을 촬영하는 제2카메라와, 상기 컬러 정보를 이용하여 상기 제1영상에서 비보행자 영역을 검출하고 그 비보행자 영역을 상기 제2영상에서 제외하여 보행자 영역을 검출하는 보행자 검출부와, 상기 보행자 영역을 상기 제2영상에 정합하여 표시하는 디스플레이부를 포함한다.

Description

야간 주행 시 차량의 보행자 검출장치 및 방법{Pedestrian detection device and method for driving vehicle at night}
본 발명은 야간 주행 시 차량 주변에 대한 컬러 영상 및 적외선 영상을 획득하고, 그 컬러 영상의 정보를 활용하여 적외선 영상에서 비보행자 영역을 제외하여 보행자 영역을 검출하는 야간 주행 시 차량의 보행자 검출장치 및 방법에 관한 것이다.
차량 비전 시스템은 차량에 장착된 카메라를 통해 차량주변에 대한 컬러 영상을 촬영하여 표시한다. 이러한 컬러 영상은 객체(차량, 보행자) 검출에 있어서 주간에는 어느 정도의 성능을 보장하지만, 야간에는 보행자/동물과 같은 객체를 검출하는 성능이 현격하게 떨어지게 된다.
이러한 문제를 해결하기 위하여 종래에는 인체에서 나오는 열 특성을 이용하여 열 영상을 촬영하는 원적외선 카메라 또는 근적외선 카메라 등을 적용한 차량 나이트 비전 시스템이 제안되었다. 그러나, 열 영상은 흑백 이미지로 검출되기 때문에 많은 정보를 잃어버려 보행자 검출에 있어서 오검출이 높아진다.
본 발명은 상기한 종래의 문제점을 해결하기 위한 것으로, 야간 주행 시 차량 주변에 대한 컬러 영상 및 적외선 영상을 획득하고, 그 컬러 영상의 정보를 활용하여 적외선 영상에서 비보행자 영역을 제외하여 보행자 영역을 검출하는 야간 주행 시 차량의 보행자 검출장치 및 방법을 제공하는데 그 목적이 있다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 야간 주행 시 차량의 보행자 검출장치는 야간 주행 중 차량주변에 대한 컬러 정보를 포함하는 제1영상을 촬영하는 제1카메라와, 상기 차량주변에 대한 열분포 정보를 포함하는 제2영상을 촬영하는 제2카메라와, 상기 컬러 정보를 이용하여 상기 제1영상에서 비보행자 영역을 검출하고 그 비보행자 영역을 상기 제2영상에서 제외하여 보행자 영역을 검출하는 보행자 검출부와, 상기 보행자 영역을 상기 제2영상에 정합하여 표시하는 디스플레이부를 포함하는 것을 특징으로 한다.
또한, 상기 제2카메라는, 적외선 카메라, 원적외선 카메라, 근적외선 카메라 중 어느 하나의 카메라로 구현되는 것을 특징으로 한다.
또한, 상기 보행자 검출부는, 상기 제1영상과 상기 제2영상을 정합하는 영상 정합부와, 상기 제1영상의 컬러 정보에 근거하여 상기 제1영상에서 색상값이 기준값 이상인 영역을 비보행자 영역으로 검출하는 비보행자 영역 검출부와, 상기 제2영상에서 상기 비보행자 영역을 제외시켜 관심영역만 추출하는 관심영역 추출부와, 상기 관심영역에서 보행자 영역을 추출하는 보행자 영역 추출부를 포함하는 것을 특징으로 한다.
또한, 상기 영상 정합부는, 상기 제1카메라의 내부 및 외부 파라미터 및 가상원점과 상기 피사체 간의 실거리를 이용하여 상기 제1영상의 좌표로부터 피사체의 실좌표를 연산하는 것을 특징으로 한다.
또한, 상기 영상 정합부는, 상기 피사체의 실좌표, 상기 제2카메라의 내부 및 외부 파라미터, 상기 실거리를 이용하여 상기 제1영상의 좌표에 대응되는 제2영상의 대응좌표를 산출하는 것을 특징으로 한다.
또한, 상기 가상원점은, 상기 제1카메라와 제2카메라의 원점으로부터 수직한 선과 제1영상과 제2영상의 평면이 만나는 점들 사이에 중심점인 것을 특징으로 한다.
본 발명의 일 실시예에 따른 야간 주행 시 차량의 보행자 검출방법은 야간 주행 시 제1카메라 및 제2카메라를 통해 차량주변의 제1영상 및 제2영상을 촬영하는 단계와, 상기 제1영상 및 제2영상을 정합하는 단계와, 상기 제1영상의 컬러 정보를 이용하여 비보행자 영역을 검출하는 단계와, 상기 제2영상에서 상기 비보행자 영역을 제외하는 단계와, 상기 비보행자 영역을 제외한 제2영상에서 보행자 영역을 검출하는 단계와, 상기 보행자 영역을 제1영상에 정합하여 표시하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 제1영상 및 제2영상의 정합 단계는, 상기 제1카메라의 내부 및 외부 파라미터 및 가상원점과 상기 피사체 간의 실거리를 이용하여 상기 제1영상의 좌표로부터 피사체의 실좌표를 연산하는 단계와, 상기 피사체의 실좌표, 상기 제2카메라의 내부 및 외부 파라미터, 상기 실거리를 이용하여 상기 제1영상의 좌표에 대응되는 제2영상의 대응좌표를 산출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 가상원점은, 상기 제1카메라와 제2카메라의 원점으로부터 수직한 선과 제1영상과 제2영상의 평면이 만나는 점들 사이에 중심점인 것을 특징으로 한다.
또한, 상기 비보행자 영역 검출 단계는, 상기 제1영상에서 색상값이 기준값 이상인 영역을 비보행자 영역으로 검출하는 것을 특징으로 한다.
본 발명은 야간 주행 시 차량 주변에 대한 컬러 영상 및 적외선 영상을 획득하고, 그 컬러 영상의 정보를 활용하여 적외선 영상에서 비보행자 영역을 제외하여 보행자 영역을 검출하므로, 연산량 및 오검출 확률을 감소시킬 수 있어 신뢰성 있는 정보를 제공할 수 있다.
또한, 본 발명은 기존의 전방 카메라와 결합할 수 있어 별도의 추가 비용없이 성능을 개선할 수 있다.
또한, 본 발명은 영상 내에서 비보행자 영역을 제외시키므로 기존의 보행자 검출 알고리즘을 그대로 적용할 수 있으며 보행자 검출 연산 속도를 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 야간 주행 시 차량의 보행자 검출장치의 블록구성도.
도 2a는 본 발명과 관련된 두 카메라에 의해 획득한 두 영상 사이의 기하학적 관계를 도시한 도면.
도 2b는 도 1에 도시된 영상 정합부의 카메라 간 대응 좌표 산출 과정을 도시한 흐름도.
도 3은 본 발명의 일 실시예에 따른 야간 주행 시 차량의 보행자 검출방법을 도시한 흐름도.
도 4a 내지 도 4d는 도 3에 도시된 야간 보행자 검출과정의 각 단계별 영상 처리결과를 도시한 예시도.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시예들을 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 야간 주행 시 차량의 보행자 검출장치의 블록구성도이고, 도 2a는 본 발명과 관련된 두 카메라에 의해 획득한 두 영상 사이의 기하학적 관계를 도시한 도면이며, 도 2b는 도 1에 도시된 영상 정합부의 카메라 간 대응 좌표 산출 과정을 도시한 흐름도이다.
도 1을 참조하면, 본 발명에 따른 보행자 검출장치는 제1카메라(10), 제2카메라(20), 보행자 검출부(30), 디스플레이부(40)를 포함한다.
제1카메라(10)는 야간 주행 중 차량 주변에 대한 컬러 정보를 포함하는 제1영상을 촬영한다. 제1카메라(10)는 CCD(Charge Coupled Device) 카메라 등으로 구현될 수 있다.
제2카메라(20)는 차량 주변의 열분포 정보를 포함하는 제2영상을 촬영한다. 제2카메라(20)는 적외선 카메라, 원적외선 카메라, 근적외선 카메라 등으로 구현될 수 있다.
제1카메라(10) 및 제2카메라(20)는 차량의 전면, 후면, 측면 중 하나 이상의 면에 쌍을 이루어 장착된단다. 이러한 제1카메라(10) 및 제2카메라(20)는 동일한 면(예: 전면)에 서로 다른 두 지점에 배치된다. 즉, 제1카메라(10) 및 제2카메라(20)는 동일한 장면에 대한 영상을 서로 다른 지점에서 획득하게 된다.
보행자 검출부(30)는 제1영상에서 비보행자 영역을 검출하고 그 비보행자 영역을 제2영상에서 제외하여 보행자 영역을 검출한다. 이러한 보행자 검출부(30)는 이미지 처리장치(image processor)로 구현될 수 있다.
보행자 검출부(30)는 영상 정합부(31), 비보행자 영역 검출부(32), 관심영역 추출부(33), 보행자 영역 추출부(34)를 포함한다.
영상 정합부(31)는 시점 변환 기술을 이용하여 제1영상과 제2영상을 정합(matching)한다. 다시 말해서, 영상 정합부(31)는 서로 다른 지점에서 획득한 제1영상과 제2영상의 좌표를 상호간에 매칭시킨다.
영상 정합부(31)가 제1영상과 제2영상 사이의 대응좌표를 산출하는 과정을 도 2a 및 도 2b를 참조하여 설명한다.
도 2a를 참조하면, 3차원 공간 상의 한 점 P가 제1영상에서는 영상좌표p에 투영되고, 제2영상에서는 영상좌표p'에 투영된다. 그리고, 두 카메라 원점으로부터 수직한 선과 제1영상과 제2영상의 평면이 만나는 점들 사이의 중심점을 가상원점으로 가정하고, 그 가상원점으로부터 점 P까지의 거리를 실거리 Z라고 가정한다.
이때, 제1영상의 영상좌표 p가 입력되면 그때 제2영상에서 대응되는 p'의 영상좌표를 산출하기 위해서, 영상 정합부(31)는 제1영상의 영상좌표 p(x, y)를 입력받으면 제1카메라(10)의 내부 및 외부 파라미터 및 실거리 Z를 이용하여 점 P의 실좌표 (X, Y, Z)를 연산한다.
그리고, 영상 정합부(31)는 점 P의 실좌표 (X, Y, Z) 및 제2카메라(20)의 내부 및 외부 파라미터, 실거리 Z를 이용하여 제1영상의 영상좌표 p(x,y)에 대응되는 제2영상의 영상좌표 p'(u, v)를 산출한다.
비보행자 영역 검출부(32)는 제1영상의 컬러 정보(색상 정보)를 이용하여 제1영상에서 비보행자 영역을 검출한다. 이때, 비보행자 영역 검출부(32)는 제1영상에서 색상값이 기준값 이상인 영역을 비보행자 영역으로 검출한다.
관심영역 추출부(33)는 비보행자 영역 검출부(32)에서 검출된 비보행자 영역을 제2영상에서 제외한다. 즉, 비보행자 영역이 제외된 제2영상이 보행자 영역을 검출할 수 있는 관심영역이 된다.
보행자 영역 추출부(34)는 비보행자 영역을 제외한 제2영상에서 보행자 영역을 추출한다. 이때, 보행자 영역 추출부(34)는 특징 검출 및 학습 알고리즘(보행자 검출 알고리즘)을 이용하여 제2영상에서 보행자 영역을 추출한다.
디스플레이부(40)는 보행자 영역 추출부(34)에 의해 추출된 보행자 영역을 제2영상에 정합하여 표시한다. 이러한 디스플레이부(40)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, HUD(Head-Up Display), 투명 디스플레이 등으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 야간 주행 시 차량의 보행자 검출방법을 도시한 흐름도이고, 도 4a 내지 도 4d는 도 3에 도시된 야간 보행자 검출과정의 각 단계별 영상 처리결과를 도시한 예시도이다.
먼저, 보행자 검출장치의 보행자 검출부(30)는 야간 주행 시 제1카메라(10) 및 제2카메라(20)를 통해 차량주변(예: 전방 또는 후방, 측방)의 제1영상 및 제2영상을 촬영한다(S11). 이때, 제1영상 및 제2영상은 서로 다른 지점에서 촬영된 영상이며, 제1영상(컬러 영상)은 차량주변에 대한 컬러 정보를 포함하고, 제2영상(원적외선 영상)은 차량주변에 대한 열분포 정보를 포함한다.
보행자 검출부(30)의 영상 정합부(31)는 제1영상의 영상좌표에 대응되는 제2영상의 영상좌표를 매칭한다(S12). 다시 말해서, 영상 정합부(31)는 제1카메라(10)의 내부 및 외부 파라미터 및 가상원점과 피사체 간의 실거리를 이용하여 제1영상의 좌표로부터 피사체의 실좌표를 연산하고, 피사체의 실좌표, 제2카메라(20)의 내부 및 외부 파라미터, 실거리를 이용하여 제1영상의 좌표에 대응되는 제2영상의 대응좌표를 산출한다.
비보행자 영역 검출부(32)는 제1영상의 컬러 정보를 이용하여 제1영상에서 비보행자 영역을 검출한다(S13). 이때, 비보행자 영역 검출부(32)는 제1영상 내에서 색상값이 기준값 이상인 영역을 비보행자 영역으로 검출한다. 즉, 비보행자 영역 검출부(32)는 도 4a에 도시된 바와 같이 주변에 비하여 기준값 이상으로 밝은 영역을 비보행자 영역으로 검출한다.
관심영역 추출부(33)는 제2영상에서 비보행자 영역을 제외한다(S14). 예컨대, 관심영역 추출부(33)는 컬러 영상에서 검출된 비보행자 영역에 대응되는 원적외선 영상의 영역을 검출하여 해당 영역을 도 4b와 같이 삭제한다.
보행자 영역 추출부(34)는 비보행자 영역을 제외한 제2영상에서 보행자 영역을 검출한다(S15). 여기서, 보행자 영역 추출부(34)는 도 4c에 도시된 바와 같이 비보행자 영역이 제외된 원적외선 영상 내에서 특징 검출 및 학습 알고리즘(보행자 검출 알고리즘)을 이용하여 보행자 영역을 검출한다.
디스플레이부(40)는 보행자 검출부(30)에서 검출된 보행자 영역을 제1영상에 정합하여 표시한다(S16). 예를 들어, 디스플레이부(40)는 도 4d에 도시된 바와 같이 원적외선 영상에서 검출된 보행자 영역을 컬러 영상에 매칭시켜 표시한다.
10: 제1카메라
20: 제2카메라
30: 보행자 검출부
31: 영상 정합부
32: 비보행자 영역 검출부
33: 관심영역 추출부
34: 보행자 영역 추출부
40: 디스플레이부

Claims (10)

  1. 야간 주행 중 차량주변에 대한 컬러 정보를 포함하는 제1영상을 촬영하는 제1카메라와,
    상기 차량주변에 대한 열분포 정보를 포함하는 제2영상을 촬영하는 제2카메라와,
    상기 컬러 정보를 이용하여 상기 제1영상에서 비보행자 영역을 검출하고 그 비보행자 영역을 상기 제2영상에서 제외하여 보행자 영역을 검출하는 보행자 검출부와,
    상기 보행자 영역을 상기 제2영상에 정합하여 표시하는 디스플레이부를 포함하되,
    상기 보행자 검출부는 상기 제1영상과 상기 제2영상을 정합하는 영상 정합부를 포함하고,
    상기 영상 정합부는 상기 제1카메라의 내부 및 외부 파라미터 및 가상원점과 피사체 간의 실거리를 이용하여 상기 제1영상의 좌표로부터 피사체의 실좌표를 연산하고, 상기 피사체의 실좌표, 상기 제2카메라의 내부 및 외부 파라미터, 상기 실거리를 이용하여 상기 제1영상의 좌표에 대응되는 제2영상의 대응좌표를 산출하는 것을 특징으로 하는 야간 주행 시 차량의 보행자 검출장치.
  2. 제1항에 있어서,
    상기 제2카메라는,
    적외선 카메라, 원적외선 카메라, 근적외선 카메라 중 어느 하나의 카메라로 구현되는 것을 특징으로 하는 야간 주행 시 차량의 보행자 검출장치.
  3. 제1항에 있어서,
    상기 보행자 검출부는,
    상기 제1영상의 컬러 정보에 근거하여 상기 제1영상에서 색상값이 기준값 이상인 영역을 비보행자 영역으로 검출하는 비보행자 영역 검출부와,
    상기 제2영상에서 상기 비보행자 영역을 제외시켜 관심영역만 추출하는 관심영역 추출부와,
    상기 관심영역에서 보행자 영역을 추출하는 보행자 영역 추출부를 포함하는 것을 특징으로 하는 야간 주행 시 차량의 보행자 검출장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 가상원점은,
    상기 제1카메라와 제2카메라의 원점으로부터 수직한 선과 제1영상과 제2영상의 평면이 만나는 점들 사이에 중심점인 것을 특징으로 하는 야간 주행 시 차량의 보행자 검출장치.
  7. 야간 주행 시 제1카메라 및 제2카메라를 통해 차량주변의 제1영상 및 제2영상을 촬영하는 단계와,
    상기 제1카메라의 내부 및 외부 파라미터 및 가상원점과 피사체 간의 실거리를 이용하여 상기 제1영상의 좌표로부터 피사체의 실좌표를 연산하는 단계와,
    상기 피사체의 실좌표, 상기 제2카메라의 내부 및 외부 파라미터, 상기 실거리를 이용하여 상기 제1영상의 좌표에 대응되는 제2영상의 대응좌표를 산출하는 단계와,
    상기 제1영상의 컬러 정보를 이용하여 비보행자 영역을 검출하는 단계와,
    상기 제2영상에서 상기 비보행자 영역을 제외하는 단계와,
    상기 비보행자 영역을 제외한 제2영상에서 보행자 영역을 검출하는 단계와,
    상기 보행자 영역을 제1영상에 정합하여 표시하는 단계를 포함하는 것을 특징으로 하는 야간 주행 시 차량의 보행자 검출방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 가상원점은,
    상기 제1카메라와 제2카메라의 원점으로부터 수직한 선과 제1영상과 제2영상의 평면이 만나는 점들 사이에 중심점인 것을 특징으로 하는 야간 주행 시 차량의 보행자 검출방법.
  10. 제7항에 있어서,
    상기 비보행자 영역 검출 단계는,
    상기 제1영상에서 색상값이 기준값 이상인 영역을 비보행자 영역으로 검출하는 것을 특징으로 하는 야간 주행 시 차량의 보행자 검출방법.
KR1020140110943A 2014-08-25 2014-08-25 야간 주행 시 차량의 보행자 검출장치 및 방법 KR101601475B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140110943A KR101601475B1 (ko) 2014-08-25 2014-08-25 야간 주행 시 차량의 보행자 검출장치 및 방법
US14/562,686 US10391937B2 (en) 2014-08-25 2014-12-06 Method and apparatus for detecting a pedestrian by a vehicle during night driving
CN201410810986.9A CN105787917B (zh) 2014-08-25 2014-12-22 用于在夜间驾驶时由车辆检测行人的方法和装置
US15/391,310 US10150415B2 (en) 2014-08-25 2016-12-27 Method and apparatus for detecting a pedestrian by a vehicle during night driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140110943A KR101601475B1 (ko) 2014-08-25 2014-08-25 야간 주행 시 차량의 보행자 검출장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160024297A KR20160024297A (ko) 2016-03-04
KR101601475B1 true KR101601475B1 (ko) 2016-03-21

Family

ID=55352139

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140110943A KR101601475B1 (ko) 2014-08-25 2014-08-25 야간 주행 시 차량의 보행자 검출장치 및 방법

Country Status (3)

Country Link
US (2) US10391937B2 (ko)
KR (1) KR101601475B1 (ko)
CN (1) CN105787917B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US10552706B2 (en) * 2016-10-24 2020-02-04 Fujitsu Ten Limited Attachable matter detection apparatus and attachable matter detection method
DE102017216016A1 (de) * 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Umfelds eines Fahrzeugs
KR102614494B1 (ko) * 2019-02-01 2023-12-15 엘지전자 주식회사 비동일 카메라 기반 영상 처리 장치
WO2021260598A1 (en) * 2020-06-23 2021-12-30 Immervision Inc. Infrared wide-angle camera
US11924527B2 (en) * 2022-05-10 2024-03-05 GM Global Technology Operations LLC Optical sensor activation and fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254044A (ja) 2003-02-19 2004-09-09 Denso Corp 運転支援方法、表示システム及び報知システム
JP2008230358A (ja) * 2007-03-19 2008-10-02 Honda Motor Co Ltd 表示装置
JP2009301494A (ja) 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
JP2010020557A (ja) 2008-07-10 2010-01-28 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496594B1 (en) * 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
WO2002005013A2 (en) * 2000-07-10 2002-01-17 Ophir Optronics Ltd. Impaired vision assist system and method
JP3857698B2 (ja) 2004-04-05 2006-12-13 株式会社日立製作所 走行環境認識装置
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
JP2007087337A (ja) 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP2007139564A (ja) 2005-11-17 2007-06-07 Sumitomo Electric Ind Ltd 障害物検出システム、障害物検出方法及びコンピュータプログラム
JP4611919B2 (ja) 2006-03-23 2011-01-12 本田技研工業株式会社 歩行者認識装置
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
US7961906B2 (en) * 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
CN101226597B (zh) * 2007-01-18 2010-04-14 中国科学院自动化研究所 一种基于热红外步态的夜间行人识别方法及系统
JP2008230348A (ja) 2007-03-19 2008-10-02 Toyota Motor Corp ウインドレギュレータ用ベースプレートの取付構造
JP4315991B2 (ja) * 2007-04-20 2009-08-19 本田技研工業株式会社 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム
EP3167958A1 (en) * 2007-10-03 2017-05-17 3M Innovative Properties Company Process for preparing microorganism concentration agent
KR20100006700A (ko) * 2008-07-10 2010-01-21 현대자동차주식회사 차량의 나이트비젼 시스템
CN101408984B (zh) * 2008-10-07 2010-09-29 西北工业大学 一种协同运动目标检测方法
CN101477631B (zh) * 2009-01-20 2011-01-19 深圳先进技术研究院 图像中提取目标的方法、设备及人机交互系统
JP2011087006A (ja) 2009-10-13 2011-04-28 Denso Corp 車両用表示装置
CN102542242B (zh) * 2010-12-27 2017-08-08 北京北科慧识科技股份有限公司 非接触式采集图像的生物特征区域定位方法和装置
JP2012164026A (ja) 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
CN103931172A (zh) * 2011-06-10 2014-07-16 菲力尔系统公司 使用热成像智能监控大街的系统及方法
CN202077119U (zh) * 2011-06-29 2011-12-14 广东好帮手电子科技股份有限公司 具有行人识别功能的车载红外夜视系统
CN102435174B (zh) * 2011-11-01 2013-04-10 清华大学 基于混合式双目视觉的障碍物检测方法及装置
KR101247497B1 (ko) * 2012-02-29 2013-03-27 주식회사 슈프리마 환경 적응형 얼굴 인식장치 및 그 방법
JP6025399B2 (ja) 2012-05-25 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6014440B2 (ja) 2012-09-26 2016-10-25 日立オートモティブシステムズ株式会社 移動物体認識装置
JP5991224B2 (ja) * 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5991648B2 (ja) * 2013-03-28 2016-09-14 株式会社デンソー 車両用表示制御装置
CN103390281B (zh) * 2013-07-29 2016-04-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254044A (ja) 2003-02-19 2004-09-09 Denso Corp 運転支援方法、表示システム及び報知システム
JP2008230358A (ja) * 2007-03-19 2008-10-02 Honda Motor Co Ltd 表示装置
JP2009301494A (ja) 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
JP2010020557A (ja) 2008-07-10 2010-01-28 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20160052452A1 (en) 2016-02-25
CN105787917A (zh) 2016-07-20
US20170106798A1 (en) 2017-04-20
US10150415B2 (en) 2018-12-11
KR20160024297A (ko) 2016-03-04
US10391937B2 (en) 2019-08-27
US20170232894A9 (en) 2017-08-17
CN105787917B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
KR101601475B1 (ko) 야간 주행 시 차량의 보행자 검출장치 및 방법
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
CN107316488B (zh) 信号灯的识别方法、装置和系统
US10268904B2 (en) Vehicle vision system with object and lane fusion
KR102263725B1 (ko) 주행 정보 제공 장치 및 주행 정보 제공 방법
US20200320314A1 (en) Road object recognition method and device using stereo camera
JP2007234019A (ja) 車両画像領域特定装置およびその方法
TWI744245B (zh) 產生具有減少過度平滑之視差圖
US9367759B2 (en) Cooperative vision-range sensors shade removal and illumination field correction
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP2018156408A (ja) 画像認識撮像装置
KR102341839B1 (ko) 증강현실을 위한 데이터 수집 장치
KR101716725B1 (ko) 거리 측정 장치 및 그것을 사용한 차량
JP2008026998A (ja) 障害物位置算出システム、及び障害物位置算出方法
JPWO2014054752A1 (ja) 画像処理装置及び車両前方監視装置
US20120056995A1 (en) Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
TWI499999B (zh) The 3D ring car image system based on probability calculation and its obtaining method
US11589028B2 (en) Non-same camera based image processing apparatus
JP2008165595A (ja) 障害物検出方法、障害物検出装置、障害物検出システム
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4704998B2 (ja) 画像処理装置
TWI618644B (zh) Image overlay method
Malviya et al. Visual infrared video fusion for night vision using background estimation
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
TWM486116U (zh) 以機率方式計算爲基礎之３ｄ環車影像系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 4