KR101692628B1 - 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 - Google Patents

관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 Download PDF

Info

Publication number
KR101692628B1
KR101692628B1 KR1020150095173A KR20150095173A KR101692628B1 KR 101692628 B1 KR101692628 B1 KR 101692628B1 KR 1020150095173 A KR1020150095173 A KR 1020150095173A KR 20150095173 A KR20150095173 A KR 20150095173A KR 101692628 B1 KR101692628 B1 KR 101692628B1
Authority
KR
South Korea
Prior art keywords
vehicle
area
rear camera
interest
image obtained
Prior art date
Application number
KR1020150095173A
Other languages
English (en)
Other versions
KR20160078865A (ko
Inventor
이강
정경훈
Original Assignee
한동대학교 산학협력단
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한동대학교 산학협력단, 국민대학교산학협력단 filed Critical 한동대학교 산학협력단
Priority to US15/191,878 priority Critical patent/US10553116B2/en
Publication of KR20160078865A publication Critical patent/KR20160078865A/ko
Application granted granted Critical
Publication of KR101692628B1 publication Critical patent/KR101692628B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)

Abstract

관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템은 후방 카메라; 상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및 상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러를 포함하고, 상기 주행 모드로 설정된 컨트롤러는 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지한다.

Description

관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템{METHOD FOR DETECTING RIGHT LANE AREA AND LEFT LANE AREA OF REAR OF VEHICLE USING REGION OF INTEREST AND IMAGE MONITORING SYSTEM FOR VEHICLE USING THE SAME}
본 발명은 차량용 영상 모니터링 시스템에서 차량의 후방 좌우 옆 차선 영역을 감지하는 방법에 대한 기술로서, 구체적으로, 주행 중인 차량의 차량용 영상 모니터링 시스템에 포함되는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 기술에 관한 것이다.
일반적인 차량에는 측방 및 후방에 대한 운전자의 시야 확보를 위한 룸미러와 사이드미러가 설치된다. 그러나, 차량의 운전자가 룸미러 및 사이드미러만을 이용하는 경우, 차량의 측방 및 후방에 대한 운전자의 시야에 사각 지대가 존재하게 된다. 여기서, 차량의 사각 지대는 오브젝트가 차량의 운전자에 의해 보이지 아니하게 되는 각도에 위치한 영역을 의미하는 것으로, 차량, 룸미러 및 사이드미러의 구조적 특징으로 발생될 수 있다.
이와 같은 차량의 사각 지대 중 차량의 후방 좌우 옆 차선 영역에 대한 운전자의 시야의 부재는 차량의 사고를 유발하는 중요 원인으로서, 차량의 후방 좌우 옆 차선 영역에 위치하는 오브젝트를 감지하기 위해서는, 차량의 운전자가 직접 고개를 돌려 시야를 변경해야 하는 문제점이 있다.
이에, 본 명세서에서는 차량에 설치된 차량용 영상 모니터링 시스템을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 기술을 제안한다.
본 발명의 실시예는 차량에 설치된 차량용 영상 모니터링 시스템에 포함되는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예는 다양한 특징 추출 기법을 적용하여 관심영역에서 특징을 추출하고, 다양한 사물 식별 기법을 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예는 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 추정하여 관심영역에 오브젝트가 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 동작을 선택적으로 수행하는 방법, 장치 및 시스템을 제공한다.
본 발명의 일실시예에 따르면, 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템은 후방 카메라; 상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및 상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러를 포함하고, 상기 주행 모드로 설정된 컨트롤러는 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지한다.
상기 주행 모드로 설정된 컨트롤러는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 상기 차량의 후방 좌우 옆 차선 영역 중 상기 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 상기 관심영역으로 설정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 HOG 기법을 적용하는 경우, 상기 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 상기 HOG 기법에 이용되는 파라미터들을 설정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 또는 상기 관심영역에서 상기 오브젝트가 상기 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 관심영역에 상기 오브젝트가 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 관심영역에서 벗어나는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량의 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 미리 설정된 거리 이상의 제1 영역, 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 상기 미리 설정된 거리 미만의 제2 영역 또는 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되지 않는 제3 영역 중 어느 영역에 상기 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 관심영역에서 상기 오브젝트가 상기 제2 영역에 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 제3 영역으로 진입하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 오브젝트가 상기 제3 영역에 진입함을 감지하여 상기 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지한 경우, 상기 알람을 해제할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량용 영상 모니터링 시스템에 포함되는 전방 카메라로부터 획득되는 이미지 또는 상기 후방 카메라로부터 획득되는 이미지를 이용하여, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지할 수 있다.
상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보, 상기 후방 카메라로부터 획득되는 이미지에 위치하는 상기 오브젝트의 외양 정보, 상기 컨트롤러의 연산 속도 또는 상기 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지할 수 있다.
본 발명의 일실시예에 따르면, 차량용 영상 모니터링 시스템에서 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법은 상기 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정하는 단계; 후방 카메라로부터 획득되는 이미지를 메모리에 저장하는 단계; 및 상기 컨트롤러를 이용하여, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계를 포함하고, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계는 상기 주행 모드로 설정된 컨트롤러를 이용하여, 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계; 및 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 단계를 포함한다.
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정하는 단계를 포함할 수 있다.
상기 관심영역을 설정하는 단계는 상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정하는 단계를 포함할 수 있다.
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는 HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하는 단계; 및 SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지하는 단계를 포함할 수 있다.
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 여부를 감지하는 단계를 포함할 수 있다.
본 발명의 실시예는 차량에 설치된 차량용 영상 모니터링 시스템에 포함되는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공할 수 있다.
따라서, 본 발명의 실시예는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 전체 영역에 대응하는 부분에서 오브젝트를 감지하는 대신에, 차량의 후방 좌우 옆 차선 영역 중 적어도 일부에 대한 관심영역에서만 오브젝트를 감지함으로써, 오브젝트 감지를 위한 계산량을 현저하게 감소시킬 수 있다.
이에, 본 발명의 실시예는 오브젝트 감지를 위한 계산량이 감소된 기술을 이용하기 때문에, 저가의 장치에서도 구현이 가능하다.
또한, 본 발명의 실시예는 다양한 특징 추출 기법을 적용하여 관심영역에서 특징을 추출하고, 다양한 사물 식별 기법을 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예는 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 추정하여 관심영역에 오브젝트가 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 동작을 선택적으로 수행하는 방법, 장치 및 시스템을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 관심영역을 이용하여 후방 좌우 옆 차선 영역을 감지하는 방법을 설명하기 위해 후방 카메라로부터 획득되는 이미지를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 차량의 후방 좌우 옆 차선 영역을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 플로우 차트이다.
도 6은 도 5에 도시된 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계를 구체적으로 나타낸 플로우 차트이다.
도 7은 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 차량(110)의 내부에 설치될 수 있다. 여기서, 차량용 영상 모니터링 시스템은 전방 카메라(120), 후방 카메라(130), 메모리 및 컨트롤러를 포함할 수 있다. 도면에는 메모리 및 컨트롤러가 전방 카메라(120) 또는 후방 카메라(130) 중 어느 하나와 결합되어 구성되도록, 별도로 도시되지 않았으나, 이에 제한되거나 한정되지 않고, 전방 카메라(120) 및 후방 카메라(130)와 별도의 장치로 구비될 수도 있다. 또한, 차량용 영상 모니터링 시스템에 후방 카메라(130)는 반드시 포함되나, 전방 카메라(120)는 선택적으로 포함될 수 있다. 이 때, 후방 카메라(130)는 단안 카메라일 수 있다.
전방 카메라(120)은 차량(110)의 전방을 향해 미리 설정된 각도에 따른 시야(121)의 이미지를 획득한다. 이 때, 전방 카메라(120)는 컨트롤러의 모드에 따라, 고화질의 이미지 또는 저화질의 이미지를 선택적으로 획득할 수 있다.
또한, 후방 카메라(130)는 차량(110)의 후방을 향해 미리 설정된 각도에 따른 시야(131)의 이미지를 획득한다. 이 때, 후방 카메라(130) 역시, 컨트롤러의 모드에 따라, 고화질의 이미지 또는 저화질의 이미지를 선택적으로 획득할 수 있다.
예를 들어, 전방 카메라(120) 및 후방 카메라(130)는 컨트롤러가 주행 모드로 설정된 경우, 미리 설정된 화질 이상의 고화질 이미지를 획득할 수 있고, 컨트롤러가 주차 모드로 설정된 경우, 미리 설정된 화질 미만의 저화질 이미지를 획득할 수 있다. 따라서, 전방 카메라(120) 및 후방 카메라(130)는 획득하는 이미지의 화질을 선택적으로 조절함으로써, 이미지를 획득하는 과정에서의 전력 소모를 최소화할 수 있다. 이와 같이, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지는 메모리에 저장될 수 있다.
컨트롤러는 차량(110)이 주행하는지 여부를 기초로, 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출한다. 이 때. 컨트롤러는 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출할 수 있다.
여기서, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 동작에는 일반적인 이벤트 검출 기술이 이용될 수 있다. 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
일반적으로 차량(110)에 설치된 룸미러(140)를 이용한 운전자의 시야(141) 및 사이드미러(150)를 이용한 운전자의 시야(151)만으로는 차량의 후방 좌우 옆 차선 영역에 대한 사각 지대(160)가 존재하게 된다. 따라서, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 컨트롤러의 모드가 주행 모드로 설정되는 경우, 차량(110)이 주행하는 동안, 후방 카메라(120)로부터 획득되는 이미지에서 차량(110)의 사각 지대(160)인 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지함으로써, 차량(110)의 사각 지대(160)인 후방 좌우 옆 차선 영역을 확인할 수 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
도 2는 본 발명의 일실시예에 따른 관심영역을 이용하여 후방 좌우 옆 차선 영역을 감지하는 방법을 설명하기 위해 후방 카메라로부터 획득되는 이미지를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템에 포함되는 후방 카메라는 주행 모드로 설정된 컨트롤러의 제어에 따라, 차량의 후방을 향해 미리 설정된 각도에 따른 시야의 이미지(210, 220)를 획득할 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 차량이 주행하는 동안에 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지한다.
이 때, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지하기 위하여, 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)에 대응하는 관심영역(250)에 대한 감지 기능을 활성화할 수 있다.
여기서, 관심영역(250)은 차량의 후방 좌우 옆 차선 영역(211, 221) 중 적어도 일부에 대해 고정된 영역으로서, 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보에 기초하여 설정될 수 있다.
예를 들어, 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보 및 후방 카메라로부터 획득되는 이미지(210, 220)에서 소실점의 위치 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 차량의 사이드미러 및 룸미러의 사각지대가 계산되고, 계산된 사각지대를 포함한 영역이 관심영역(250)으로 설정될 수 있다. 또한, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 오브젝트(230, 240)의 그림자 정보를 이용하여 결정될 수 있다.
더 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 오브젝트의 그림자가 탐색되지 않는 경우, 관심영역(250)을 아예 설정하지 않을 수 있고, 오브젝트의 그림자의 형태 및 밝기 분포에 따라 관심영역(250)의 크기를 최소한의 크기로 설정하거나, 관심영역(250)의 위치를 오브젝트를 정확히 감지하도록 동적으로 결정할 수 있다.
주행 모드로 설정된 컨트롤러는 관심영역(250)에 대한 감지 기능을 활성화하여 관심영역(250)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지할 수 있다. 따라서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221) 중 적어도 일부에 대해 고정된 영역인 관심영역(250)에서만 오브젝트(230, 240)를 감지하기 때문에, 후방 좌우 옆 차선 영역(211, 221) 전체에 대해 오브젝트(230, 240)를 추적하여 감지하는 기술에 비해 오브젝트(230, 240) 감지 계산량을 현저하게 감소시킬 수 있다.
구체적으로, 주행 모드로 설정된 컨트롤러는 활성화된 관심영역(250)에 대한 감지 기능을 기초로, HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역(250)에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 오브젝트(230, 240)를 식별함으로써, 관심영역(250)에 오브젝트(230, 240)가 위치하는지 여부를 감지할 수 있다. 이하, HOG 기법, SVM 기법, Haar-like feature 기법, Adaboost 기법 및 인공신경망 기법에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
또한, 주행 모드로 설정된 컨트롤러는 활성화된 관심영역(250)에 대한 감지 기능을 기초로, 오브젝트(230, 240)의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트(230, 240)의 모션 벡터를 계산하여 관심영역(250)에 오브젝트(230, 240)가 진입하는지 또는 관심영역(250)에서 오브젝트(230, 240)가 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다. 이 때, 오브젝트(230, 240)의 모션 벡터를 계산하는 과정은 기존의 모션 벡터 계산 기법에 의해 수행될 수 있다. 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다. 또한, 주행 모드로 설정된 컨트롤러는 오브젝트(230, 240)의 모션 벡터를 계산하는 대신에, 오브젝트(230, 240)의 상대 속도를 추정하여 관심영역(250)에 오브젝트(230, 240)가 진입하는지 여부를 감지할 수 있다.
예를 들어, (a)와 같이, 후방 카메라로부터 획득되는 이미지(210, 220) 중 이전 프레임에 대한 이미지(210)에서 관심영역(250)에 오브젝트(230, 240)가 위치하지 않다가, (b)와 같이, 현재 프레임에 대한 이미지(220)에서 관심영역(250)에 오브젝트(230, 240)가 위치한 경우, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 오브젝트(230, 240)가 위치함을 감지할 수 있다.
보다 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 이전 프레임에 대한 이미지(210)에서 추출된 제1 오브젝트(230)에 대한 외양 정보 또는 식별 정보가 현재 프레임에 대한 이미지(220)에서 추출된 제1 오브젝트(230)에 대한 외양 정보 또는 식별 정보로 변화됨을 인식하거나, 이전 프레임에 대한 이미지(210) 및 현재 프레임에 대한 이미지(220)에서 제1 관심영역(251)에 포함되는 픽셀 블록의 차이에 기초하여 제1 오브젝트(230)의 모션 벡터를 계산함으로써, 제1 관심영역(251)에 제1 오브젝트(230)가 진입하거나, 제1 관심영역(251)에서 제1 오브젝트(230)가 차량과 동일한 속도로 주행함을 감지할 수 있다.
다른 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 현재 프레임에 대한 이미지(220)에서 제2 관심영역(252)에 대한 감지 기능을 활성화한 후, 제2 오브젝트(240)의 외양 정보 또는 식별 정보를 기초로 HOG 기법 및 SVM 기법을 적용하여 제2 관심영역(252)에 제2 오브젝트(240)가 위치함을 감지할 수 있다. 이 때, 주행 모드로 설정된 컨트롤러는 HOG 기법을 적용하는 경우, 오브젝트(230, 240)를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 최적화하도록 설정함으로써(오브젝트(230, 240)의 대칭성, 오브젝트(230, 240)에 대한 에지의 각도 분포 특성 및 오브젝트(230, 240)의 외양 특성이 집중적으로 분포하는 구간 등의 파라미터들을 설정함), HOG 기법의 연산 속도를 향상시킬 수 있다.
상술된 오브젝트(230, 240)의 외양 정보는 오브젝트(230, 240)의 종류 및 크기와 관련된 외양 정보(전면 외양 정보 또는 측면 외양 정보)와 오브젝트(230, 240)가 주행함에 따른 오브젝트(230, 240)의 자세와 관련된 정보를 포함할 수 있다. 또한, 오브젝트(230, 240)의 식별 정보는 오브젝트(230, 240)가 차량인 경우, 차량의 번호판 크기를 의미할 수 있다. 이하, 오브젝트(230, 240)는 차량인 경우로 설명하지만, 이에 제한되거나 한정되지 않고, 사람, 오토바이, 자전거 또는 표지판 등과 같이 차량이 주행함에 있어, 충돌의 여지가 있는 모든 물체일 수 있다.
관심영역(250)은 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)을 탐색하기 위한 이미지(210, 220) 상의 특정 영역으로서, 주행 모드로 설정된 컨트롤러에 의해 적응적으로 조절될 수 있다.
예를 들어, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보, 후방 카메라로부터 획득되는 이미지(210, 220)에서 소실점의 위치 정보 또는 후방 카메라로부터 획득되는 이미지(210, 220)에 위치하는 오브젝트(230, 240)의 외양 정보 중 적어도 어느 하나에 기초하여 설정될 수 있다.
더 구체적인 예를 들면, 관심영역(250)은 후방 카메라로부터 획득되는 이미지(210, 220)에 위치하는 오브젝트(230, 240)의 외양 정보에 따라 좌우로 넙적한 직사각의 형태나 위 아래로 긴 직사각 형태를 가질 수 있다. 여기서, 오브젝트(230, 240)의 외양 정보는 오브젝트(230, 240)가 생성하는 그림자에 대한 정보를 포함할 수도 있다.
또한, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 주행 모드로 설정된 컨트롤러의 연산 속도 또는 주행 모드로 설정된 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다.
예를 들어, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 위에서 상술된 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하는지 여부를 감지하는 과정에서, 후방 카메라로부터 획득되는 이미지(210, 220)에서 특징을 추출하는데 적용되는 HOG 기법, Haar-like feature 기법과 오브젝트(230, 240)를 식별하는데 적용되는 SVM 기법, Adaboost 기법 또는 인공신경망 기법 중 적어도 어느 하나에 따라 적응적으로 설정될 수 있다.
더 구체적인 예를 들면, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 주행 모드로 설정된 컨트롤러가 HOG 기법을 적용하는 연산 속도가 최소화되도록 설정될 수 있다.
이 때, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나가 적응적으로 설정됨에 따라, 차량의 후방 좌우 옆 차선 영역(211, 221) 모두를 감지하는 대신에, 차량으로부터 미리 설정된 거리 이내의 후방 좌우 옆 차선 영역(211, 221)만을 감지할 수 있다. 따라서, 주행 모드로 설정된 컨트롤러는 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 적응적으로 설정함으로써, 관심영역(250)에 대한 감지 기능을 활성화하는데 소모되는 전력을 조절할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 주행 모드로 설정된 컨트롤러는 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고, 후방 카메라로부터 획득되는 이미지(210, 220)에서 관심영역(250)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지하고, 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다.
또한, 관심영역(250)에 오브젝트(230, 240)가 위치하지 않거나, 벗어나는 것을 감지한 경우, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 오브젝트(230, 240)가 위치하지 않거나, 벗어남을 알람으로 차량의 운전자에게 알릴 수 있다. 이 때, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 오브젝트(230, 240)가 위치하는 경우, 활성화된 관심영역(250)에 대한 감지 기능을 기초로, 오브젝트(230, 240)의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트(230, 240)의 모션 벡터를 계산하여 오브젝트(230, 240)가 관심영역(250)에서 벗어나는지 여부를 감지할 수 있다.
또한, 이러한 통지 동작은 차량의 운전자로부터 미리 입력 받은 설정에 따라 선택적으로 수행되지 않을 수도 있다(예컨대, 설정에 따라, 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하지 않음을 차량의 운전자에게 알리는 동작은 수행되지 않을 수 있음).
또한, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역(211, 221)에 대응하는 관심영역(250)을 복수 개의 영역들로 구분하여 오브젝트(230, 240)가 위치하지 또는 진입하는지 여부를 감지하고, 운전자에게 알람으로 통지할 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 3은 본 발명의 일실시예에 따른 차량의 후방 좌우 옆 차선 영역을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역을 복수 개의 영역들로 구분하여, 복수 개로 구분된 영역들 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
여기서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 또는 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보 중 적어도 어느 하나에 기초하여, 후방 카메라로부터 획득되는 이미지의 관심영역 상에서 차량의 후방 좌우 옆 차선 영역을 제1 영역(310), 제2 영역(320) 및 제3 영역(330)으로 구분할 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 관심영역에서, 차량의 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 이상의 제1 영역(310), 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 미만의 제2 영역(320) 또는 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되지 않는 제3 영역(330) 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 제1 영역(310), 제2 영역(320) 및 제3 영역(330) 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 과정에서, 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 또는 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보 중 적어도 어느 하나를 이용할 수 있다. 더 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여, 오브젝트가 관심영역 내에서 미리 설정된 거리 이상인지 또는 미만인지를 판단할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 대한 감지 기능을 활성화함으로써, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 또는 진입하는지를 감지할 수 있다.
구체적으로, 주행 모드로 설정된 컨트롤러는 활성화된 관심영역(250)에 대한 감지 기능을 기초로, HOG 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 특징을 추출하고, SVM 기법, Adaboost 기법 또는 인공신경망 기법 중 적어도 어느 하나를 적용하여 오브젝트를 식별함으로써, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 여부를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 복수의 오브젝트들 각각에 대한 외양 정보 또는 식별 정보를 데이터베이스에 미리 저장하여 유지하다가, HOG 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 추출된 특징을 기초로, SVM 기법, Adaboost 기법 또는 인공신경망 기법 중 적어도 어느 하나를 적용하여 식별된 오브젝트의 외양 정보 또는 식별 정보를 데이터베이스에 저장된 복수의 오브젝트들 각각에 대한 외양 정보 또는 식별 정보와 비교함으로써, 오브젝트가 제1 영역(310) 또는 제2 영역(320) 중 어느 영역에 위치하는지를 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트(230, 240)의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트(230, 240)의 모션 벡터를 계산하여 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 진입하는지 또는 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에서 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다.
특히, 제3 영역(330)은 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되지 않는 영역이기 때문에, 주행 모드로 설정된 컨트롤러는 오브젝트가 제2 영역(320)에 위치하는 경우, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트가 제3 영역(330)으로 진입하는지 여부를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 오브젝트가 제2 영역(320)에 위치하다가, 계산된 오브젝트의 모션 벡터가 제3 영역(330)을 향하는 경우(이전 프레임에 대한 이미지의 관심영역에서 오브젝트의 모션 벡터가 제3 영역(330)-제2 영역(320)에 대해 전방-을 향함으로써, 오브젝트는 현재 프레임에 대한 이미지의 관심영역 상 제2 영역(320)에서 사라지고, 제3 영역(330)에 진입하게 됨), 오브젝트가 제3 영역(330)으로 진입하는지 여부를 감지할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러는 제1 영역(310), 제2 영역(320) 및 제3 영역(330) 중 오브젝트가 위치하거나 진입하는 영역에 따라, 구별되는 알람으로 운전자에게 통지할 수 있다. 예를 들어, 오브젝트가 제3 영역(330)에 진입하는 것으로 감지된 경우, 주행 모드로 설정된 컨트롤러는 오브젝트가 제1 영역(310) 또는 제2 영역(320)에 위치하거나 진입하는 경우보다 긴급하고 큰 알람 소리로 운전자에게 감지 결과를 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트가 제3 영역(330)에 진입함을 감지하여 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 오브젝트가 제3 영역(330)에서 벗어남을 감지한 경우, 알람을 해제할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 오브젝트가 제3 영역(330)에 진입함을 감지하여 운전자에게 알람으로 통지한 후, 전방 카메라로부터 획득되는 이미지 또는 후방 카메라로부터 획득되는 이미지를 이용하여, 오브젝트가 제3 영역(330)에서 벗어남을 감지하는 경우, 운전자에게 통지되던 알람을 해제할 수 있다. 이 때, 오브젝트는 제2 영역(320)을 경유하여 제3 영역(330)에 진입하였기 때문에, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 오브젝트가 제2 영역(320)에 위치했을 때 추출된 오브젝트에 대한 외양 정보 또는 오브젝트의 식별 정보를 기초로, 전방 카메라로부터 획득되는 이미지 또는 후방 카메라로부터 획득되는 이미지에서 외양 정보 또는 식별 정보에 매칭되는 오브젝트가 존재하는지 여부를 판단함으로써, 오브젝트가 제3 영역(330)에서 벗어남을 감지할 수 있다.
더 구체적인 예를 들면, 오브젝트가 제2 영역(320)을 경유하여 제3 영역(330)에 진입했다가 차량의 전방으로 이동하였다면, 주행 모드로 설정된 컨트롤러는 오브젝트가 제2 영역(320)에 위치했을 때 추출한 오브젝트에 대한 외양 정보 또는 식별 정보를 임시 저장했다가, 전방 카메라로부터 획득되는 이미지에서 임시 저장된 외양 정보 또는 식별 정보에 매칭되는 오브젝트가 존재함을 판단하고, 해당 오브젝트가 제3 영역(330)에서 벗어남을 감지할 수 있다.
이와 같이, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역을 제1 영역(310), 제2 영역(320) 및 제3 영역(330)으로 구분하여, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 또는 진입하는지 여부를 감지함으로써, 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 위치하는 오브젝트에 대한 감지 결과를 위험도에 따라 알람으로 운전자에게 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트가 차량보다 빠른 속도로 차량의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로 오브젝트를 감지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 차량이 오브젝트보다 빠른 속도로 주행함에 따라, 오브젝트가 차량의 후방 좌우 옆 차선 영역의 관심영역에 위치하거나 진입하게 되는 경우에는 오브젝트를 감지하여 감지 결과를 알람으로 운전자에게 통지하는 것을 수행하지 않을 수 있다. 이에 대한 상세한 설명은 도 4를 참조하여 기재하기로 한다.
도 4는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 주행 모드로 설정된 컨트롤러는 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로 오브젝트(420)를 감지할 수 있다.
구체적으로, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로 오브젝트(420)를 감지하고, 감지 결과를 알람으로 운전자에게 통지할 수 있다.
예를 들어, (a)와 같이 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우, 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트(420)의 외양 정보는 전면 외양 정보(421)로부터 측면 외양 정보(422)의 순서로 변화될 수 있다. 반면에, (b)와 같이 차량(410)이 오브젝트(420)보다 빠른 속도로 주행함에 따라, 오브젝트(420)가 차량(410)의 후방 좌우 옆 차선 영역의 관심영역에 위치하게 되는 경우, 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트(420)의 외양 정보는 측면 외양 정보(422)로부터 전면 외양 정보(421)의 순서로 변화될 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트(420)에 대한 외양 정보가 전면 외양 정보(421)로부터 측면 외양 정보(422)의 순서로 변화되는 경우에만, 선택적으로 오브젝트(420)를 감지함으로써, 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로, 오브젝트(420)를 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트(420)를 선택적으로 감지하는 대신에, 선택적으로 감지 결과를 차량(410)의 운전자에게 통지할 수도 있다. 이러한 경우, 주행 모드로 설정된 컨트롤러는 오브젝트(420)를 감지한 후, 감지된 오브젝트(420)에 대한 외양 정보의 변화에 기초하여 선택적으로 감지 결과를 알람으로 운전자에게 통지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 감지된 오브젝트(420)에 대한 외양 정보가 전면 외양 정보(421)로부터 측면 외양 정보(422)로 변화되는 경우에만, 선택적으로 감지 결과를 운전자에게 통지할 수 있다.
도 5는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정한다(510).
이 때, 컨트롤러가 주행 모드로 설정되는 경우, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 후방 카메라가 미리 설정된 화질 이상의 고화질의 이미지를 획득하도록 후방 카메라를 제어할 수 있다. 또한, 컨트롤러는 차량용 영상 모니터링 시스템에 포함되는 전방 카메라가 미리 설정된 화질 이상의 고화질의 이미지를 획득하도록 전방 카메라를 제어할 수도 있다.
반면에, 컨트롤러가 주차 모드로 설정되는 경우, 주차 모드로 설정된 컨트롤러를 이용하여, 후방 카메라가 미리 설정된 화질 미만의 저화질의 이미지를 획득하도록 후방 카메라를 제어할 수 있다. 또한, 컨트롤러는 전방 카메라가 미리 설정된 화질 미만의 저화질의 이미지를 획득하도록 전방 카메라를 제어할 수도 있다.
이어서, 차량용 영상 모니터링 시스템은 후방 카메라로부터 획득되는 이미지를 메모리에 저장한다(520).
그 다음, 차량용 영상 모니터링 시스템은 컨트롤러를 이용하여, 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출한다. 여기서, 차량용 영상 모니터링 시스템은 메모리에 저장된 후방 카메라로부터 획득되는 이미지를 이용할 수 있다. 이러한 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 동작에는 일반적인 이벤트 검출 기술이 이용될 수 있다. 또한, 차량용 영상 모니터링 시스템은 전방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출할 수도 있다.
이 때, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 차량이 주행하는 동안에, 후방 카메라로부터 획득되는 이미지에서 관심영역을 설정한다(530). 예를 들어, 차량용 영상 모니터링 시스템은 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 관심영역을 설정할 수 있다. 더 구체적인 예를 들면, 차량용 영상 모니터링 시스템은 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 관심영역으로 설정할 수 있다. 또한, 차량용 영상 모니터링 시스템은 오브젝트의 그림자 정보를 이용하여 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정할 수 있다.
그 다음, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지한다(540). 예를 들어, 차량용 영상 모니터링 시스템은 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
구체적으로, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 후방 카메라로부터 획득되는 이미지에서 차량의 후장 좌우 옆 차선 영역에 대응하는 관심영역에 대한 감지 기능을 활성화함으로써, 후방 카메라로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다. 이에 대한 상세한 설명은 도 6을 참조하여 기재하기로 한다.
여기서, 차량의 후방 좌우 옆 차선 영역 중 적어도 일부에 대해 고정된 영역인 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보, 후방 카메라로부터 획득되는 이미지에 위치하는 오브젝트의 외양 정보, 컨트롤러의 연산 속도 또는 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다. 이와 같이 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나가 설정되는 과정은 530 단계에서 수행될 수 있다.
그 후, 차량용 영상 모니터링 시스템은 감지 결과를 차량의 운전자에게 알람으로 통지한다(550). 예를 들어, 차량용 영상 모니터링 시스템은 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 감지 결과를 차량의 운전자에게 통지할 수 있다. 이러한 통지 동작은 차량의 설정에 따라 적응적으로 수행될 수 있다.
도 6은 도 5에 도시된 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계를 구체적으로 나타낸 플로우 차트이다.
도 6을 참조하면, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수 있다(610).
이 때, 차량용 영상 모니터링 시스템은 HOG 기법을 적용하는 경우, 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 설정할 수 있다.
또한, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에 오브젝트가 진입하는지 또는 관심영역에 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수도 있다
또한, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에서 오브젝트가 차량을 기준으로 미리 설정된 범위 내로 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다(620).
관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우, 차량용 영상 모니터링 시스템은 차량의 운전자에게 통지할 알람값을 결정할 수 있다(630). 예를 들어, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우 및 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우 모두 차량의 운전자에게 통지될 알람값은 참(true)값인 1로 결정될 수 있다.
반면에, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하지 않거나, 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하지 않거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하지 않는 경우에는 차량의 운전자에게 통지될 알람값은 거짓(false)값인 0으로 결정될 수 있다.
따라서, 차량용 영상 모니터링 시스템은 결정된 알람값에 기초하여, 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다.
또한, 도면에는 도시하지 않았지만, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, 후방 카메라로부터 획득되는 이미지의 관심영역에서 차량의 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 이상의 제1 영역, 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 미만의 제2 영역 또는 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되지 않는 제3 영역 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
예를 들어, 차량용 영상 모니터링 시스템은 관심영역에서 오브젝트가 제2 영역에 위치하는 경우, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트가 제3 영역으로 진입하는지 여부를 감지할 수 있다.
또한, 차량용 영상 모니터링 시스템은 오브젝트가 제3 영역에 위치함을 감지하여 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 오브젝트가 제3 영역에서 벗어남을 감지한 경우, 알람을 해제할 수 있다.
이 때, 차량용 영상 모니터링 시스템은 전방 카메라로부터 획득되는 이미지 또는 후방 카메라로부터 획득되는 이미지를 이용하여, 오브젝트가 제3 영역에서 벗어남을 감지할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 차량의 후방 좌우 옆 차선 영역을 감지하는 방법은 차량에 설치된 차량용 영상 모니터링 시스템을 이용하기 때문에, 차량용 영상 모니터링 시스템이 설치된 차량에서 용이하게 수행될 수 있다.
도 7은 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템을 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 후방 카메라(710), 메모리(720) 및 컨트롤러(730)를 포함한다.
후방 카메라(710)는 차량의 후방을 향해 미리 설정된 각도에 따른 이미지를 획득한다.
메모리(720)는 후방 카메라(710)로부터 획득되는 이미지를 저장한다.
컨트롤러(730)는 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 후방 카메라(710)로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출한다.
여기서, 도면에는 도시하지 않았지만, 차량용 영상 모니터링 시스템은 차량의 전방을 향해 미리 설정된 각도에 따른 이미지를 획득하는 전방 카메라를 더 포함할 수 있다. 따라서, 메모리(720)는 전방 카메라로부터 획득되는 이미지를 저장할 수 있고, 컨트롤러(730)는 전방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출할 수도 있다.
이 때, 주행 모드로 설정된 컨트롤러(730)는 차량이 주행하는 동안에, 후방 카메라(710)로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역을 설정하고, 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지한다. 예를 들어, 주행 모드로 설정된 컨트롤러(730)는 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 후방 카메라(710)로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
특히, 주행 모드로 설정된 컨트롤러(730)는 후방 카메라(710)로부터 획득되는 이미지에서 차량의 후장 좌우 옆 차선 영역에 대응하는 관심영역에 대한 감지 기능을 활성화함으로써, 후방 카메라(710)로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
여기서, 주행 모드로 설정된 컨트롤러(730)는 차량용 영상 모니터링 시스템은 후방 카메라(710)로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 관심영역을 설정할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러(730)는 후방 카메라(710)로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 후방 카메라(710)로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 관심영역으로 설정할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 오브젝트의 그림자 정보를 이용하여 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정할 수 있다. 예를 들어, 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 후방 카메라(710)로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 후방 카메라(710)로부터 획득되는 이미지에서 소실점의 위치 정보, 후방 카메라(710)로부터 획득되는 이미지에 위치하는 오브젝트의 외양 정보, 컨트롤러(730)의 연산 속도 또는 컨트롤러(730)의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다. 이와 같이 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나가 설정되는 과정은 주행 모드로 설정된 컨트롤러(730)가 관심영역을 설정하는 과정에서 수행될 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 감지 결과를 차량의 운전자에게 알람으로 통지한다. 예를 들어, 주행 모드로 설정된 컨트롤러(730)는 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 감지 결과를 차량의 운전자에게 통지할 수 있다. 이러한 통지 동작은 차량의 설정에 따라 적응적으로 수행될 수 있다.
후방 카메라(710)로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 주행 모드로 설정된 컨트롤러(730)의 동작은 다음과 같다.
구체적으로, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수 있다.
여기서, 주행 모드로 설정된 컨트롤러(730)는 HOG 기법을 적용하는 경우, 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 설정할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에 오브젝트가 진입하는지 또는 관심영역에 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수도 있다
또한, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에 오브젝트가 차량을 기준으로 미리 설정된 범위 내로 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다.
관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우, 주행 모드로 설정된 컨트롤러(730)는 차량의 운전자에게 통지할 알람값을 결정할 수 있다. 예를 들어, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우 및 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우 모두 차량의 운전자에게 통지될 알람값은 참(true)값인 1로 결정될 수 있다.
반면에, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하지 않거나, 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하지 않거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하지 않는 경우에는 차량의 운전자에게 통지될 알람값은 거짓(false)값인 0으로 결정될 수 있다.
따라서, 주행 모드로 설정된 컨트롤러(730)는 결정된 알람값에 기초하여, 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, 후방 카메라(710)로부터 획득되는 이미지의 관심영역에서 차량의 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라(710)에 의해 촬영되는 차량으로부터 미리 설정된 거리 이상의 제1 영역, 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라(710)에 의해 촬영되는 차량으로부터 미리 설정된 거리 미만의 제2 영역 또는 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라(710)에 의해 촬영되지 않는 제3 영역 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러(730)는 관심영역에서 오브젝트가 제2 영역에 위치하는 경우, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트가 제3 영역으로 진입하는지 여부를 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 오브젝트가 제3 영역에 위치함을 감지하여 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 오브젝트가 제3 영역에서 벗어남을 감지한 경우, 알람을 해제할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러(730)는 전방 카메라로부터 획득되는 이미지 또는 후방 카메라(710)로부터 획득되는 이미지를 이용하여, 오브젝트가 제3 영역에서 벗어남을 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 전방 카메라 및 후방 카메라(710) 각각이 미리 설정된 화질 이상의 고화질의 이미지를 획득하도록 전방 카메라 및 후방 카메라(710) 각각을 제어할 수 있다.
반면에, 주차 모드로 설정된 컨트롤러(730)는 전방 카메라 및 후방 카메라(710) 각각이 미리 설정된 화질 미만의 저화질의 이미지를 획득하도록 전방 카메라 및 후방 카메라(710) 각각을 제어할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
    후방 카메라;
    상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
    상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
    를 포함하고,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하며,
    상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정하는 차량용 영상 모니터링 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 주행 모드로 설정된 컨트롤러는
    상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정하는 차량용 영상 모니터링 시스템.
  4. 제1항에 있어서,
    상기 주행 모드로 설정된 컨트롤러는
    상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 상기 차량의 후방 좌우 옆 차선 영역 중 상기 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 상기 관심영역으로 설정하는 차량용 영상 모니터링 시스템.
  5. 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
    후방 카메라;
    상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
    상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
    를 포함하고,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하며,
    상기 주행 모드로 설정된 컨트롤러는
    HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지하는 차량용 영상 모니터링 시스템.
  6. 제5항에 있어서,
    상기 주행 모드로 설정된 컨트롤러는
    상기 HOG 기법을 적용하는 경우, 상기 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 상기 HOG 기법에 이용되는 파라미터들을 설정하는 차량용 영상 모니터링 시스템.
  7. 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
    후방 카메라;
    상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
    상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
    를 포함하고,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하며,
    상기 주행 모드로 설정된 컨트롤러는
    상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 또는 상기 관심영역에서 상기 오브젝트가 상기 차량과 동일한 속도로 주행하는지 여부를 감지하는 차량용 영상 모니터링 시스템.
  8. 제7항에 있어서,
    상기 주행 모드로 설정된 컨트롤러는
    상기 관심영역에 상기 오브젝트가 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 관심영역에서 벗어나는지 여부를 감지하는 차량용 영상 모니터링 시스템.
  9. 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
    후방 카메라;
    상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
    상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
    를 포함하고,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하며,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량의 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 미리 설정된 거리 이상의 제1 영역, 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 상기 미리 설정된 거리 미만의 제2 영역 또는 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되지 않는 제3 영역 중 어느 영역에 상기 오브젝트가 위치하는지 또는 진입하는지를 감지하는 차량용 영상 모니터링 시스템.
  10. 제9항에 있어서,
    상기 주행 모드로 설정된 컨트롤러는
    상기 관심영역에서 상기 오브젝트가 상기 제2 영역에 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 제3 영역으로 진입하는지 여부를 감지하는 영상 모니터링 시스템.
  11. 제10항에 있어서,
    상기 주행 모드로 설정된 컨트롤러는
    상기 오브젝트가 상기 제3 영역에 진입함을 감지하여 상기 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지한 경우, 상기 알람을 해제하는 차량용 영상 모니터링 시스템.
  12. 제11항에 있어서,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량용 영상 모니터링 시스템에 포함되는 전방 카메라로부터 획득되는 이미지 또는 상기 후방 카메라로부터 획득되는 이미지를 이용하여, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지하는 차량용 영상 모니터링 시스템.
  13. 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
    후방 카메라;
    상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
    상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
    를 포함하고,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하며,
    상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는
    상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보, 상기 후방 카메라로부터 획득되는 이미지에 위치하는 상기 오브젝트의 외양 정보, 상기 컨트롤러의 연산 속도 또는 상기 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정되는 차량용 영상 모니터링 시스템.
  14. 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
    후방 카메라;
    상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
    상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
    를 포함하고,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하며,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 차량용 영상 모니터링 시스템.
  15. 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
    후방 카메라;
    상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
    상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
    를 포함하고,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하며,
    상기 주행 모드로 설정된 컨트롤러는
    상기 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 차량용 영상 모니터링 시스템.
  16. 차량용 영상 모니터링 시스템에서 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법에 있어서,
    상기 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정하는 단계;
    후방 카메라로부터 획득되는 이미지를 메모리에 저장하는 단계; 및
    상기 컨트롤러를 이용하여, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계
    를 포함하고,
    상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계는
    상기 주행 모드로 설정된 컨트롤러를 이용하여, 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계; 및
    상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 단계
    를 포함하며,
    상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는
    상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정하는 단계
    를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법.
  17. 삭제
  18. 제16항에 있어서,
    상기 관심영역을 설정하는 단계는
    상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정하는 단계
    를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법.
  19. 차량용 영상 모니터링 시스템에서 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법에 있어서,
    상기 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정하는 단계;
    후방 카메라로부터 획득되는 이미지를 메모리에 저장하는 단계; 및
    상기 컨트롤러를 이용하여, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계
    를 포함하고,
    상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계는
    상기 주행 모드로 설정된 컨트롤러를 이용하여, 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계; 및
    상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 단계
    를 포함하며,
    상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는
    HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하는 단계; 및
    SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지하는 단계
    를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법.
  20. 차량용 영상 모니터링 시스템에서 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법에 있어서,
    상기 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정하는 단계;
    후방 카메라로부터 획득되는 이미지를 메모리에 저장하는 단계; 및
    상기 컨트롤러를 이용하여, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계
    를 포함하고,
    상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계는
    상기 주행 모드로 설정된 컨트롤러를 이용하여, 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계; 및
    상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 단계
    를 포함하며,
    상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는
    상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 또는 상기 관심영역에 상기 오브젝트가 상기 차량과 동일한 속도로 주행하는지 여부를 감지하는 단계
    를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법.
KR1020150095173A 2014-12-24 2015-07-03 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 KR101692628B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/191,878 US10553116B2 (en) 2014-12-24 2016-06-24 Method for detecting right lane area and left lane area of rear of vehicle using region of interest and image monitoring system for vehicle using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140188351 2014-12-24
KR20140188351 2014-12-24

Publications (2)

Publication Number Publication Date
KR20160078865A KR20160078865A (ko) 2016-07-05
KR101692628B1 true KR101692628B1 (ko) 2017-01-04

Family

ID=56502007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150095173A KR101692628B1 (ko) 2014-12-24 2015-07-03 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템

Country Status (2)

Country Link
US (1) US10553116B2 (ko)
KR (1) KR101692628B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11335085B2 (en) 2019-07-05 2022-05-17 Hyundai Motor Company Advanced driver assistance system, vehicle having the same and method for controlling the vehicle

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3056807B1 (fr) * 2016-09-28 2020-08-28 Valeo Schalter & Sensoren Gmbh Dispositif d'aide a la conduite d'un vehicule
KR102628654B1 (ko) 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
KR102585219B1 (ko) 2016-11-29 2023-10-05 삼성전자주식회사 차량 속도 제어 방법 및 장치
KR102499398B1 (ko) 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
KR101956689B1 (ko) 2017-10-16 2019-07-04 주식회사 만도 긴급차량 운행경로 생성기능을 갖는 자동 순항 제어장치 및 제어방법
KR102106345B1 (ko) 2018-04-25 2020-05-04 주식회사 만도 후측방 경보 시스템 및 그 제어 방법
US10300851B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Method for warning vehicle of risk of lane change and alarm device using the same
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN109886122B (zh) * 2019-01-23 2021-01-29 珠海市杰理科技股份有限公司 车道线检测方法、装置、计算机设备和存储介质
KR102239734B1 (ko) * 2019-04-01 2021-04-12 인천대학교 산학협력단 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
CN112348894B (zh) * 2020-11-03 2022-07-29 中冶赛迪重庆信息技术有限公司 废钢货车位置及状态识别方法、系统、设备及介质
CN112949448A (zh) * 2021-02-25 2021-06-11 深圳市京华信息技术有限公司 车后来车提示方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2641562B2 (ja) * 1989-04-28 1997-08-13 松下電器産業株式会社 車両用衝突防止装置
JP2003151096A (ja) 2001-11-19 2003-05-23 Honda Motor Co Ltd 進入警報装置
JP2004193699A (ja) * 2002-12-09 2004-07-08 Daihatsu Motor Co Ltd 車両用後側方監視装置及びその制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
US8310353B2 (en) * 2008-03-31 2012-11-13 Honda Motor Co., Ltd. Vehicle blind spot detection and indicator system
KR101043450B1 (ko) * 2009-07-31 2011-06-21 삼성전기주식회사 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
KR20130005176A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 후측방 차량 감지 장치
US10099614B2 (en) * 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
KR101565007B1 (ko) * 2014-05-30 2015-11-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR101610038B1 (ko) * 2014-06-13 2016-04-07 현대모비스 주식회사 Avm 장치 및 동작 방법
US20160252610A1 (en) * 2015-02-26 2016-09-01 Delphi Technologies, Inc. Blind-spot radar system with improved semi-trailer tracking
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2641562B2 (ja) * 1989-04-28 1997-08-13 松下電器産業株式会社 車両用衝突防止装置
JP2003151096A (ja) 2001-11-19 2003-05-23 Honda Motor Co Ltd 進入警報装置
JP2004193699A (ja) * 2002-12-09 2004-07-08 Daihatsu Motor Co Ltd 車両用後側方監視装置及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11335085B2 (en) 2019-07-05 2022-05-17 Hyundai Motor Company Advanced driver assistance system, vehicle having the same and method for controlling the vehicle

Also Published As

Publication number Publication date
KR20160078865A (ko) 2016-07-05
US20170132932A1 (en) 2017-05-11
US10553116B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
KR101692628B1 (ko) 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
US10796171B2 (en) Object recognition apparatus, object recognition method, and object recognition program
US9715830B2 (en) Apparatus for assisting in lane change and operating method thereof
JP7025912B2 (ja) 車載環境認識装置
JP6424263B2 (ja) 大型車両の移動オブジェクト衝突警告装置および方法
EP2369552B1 (en) Approaching object detection system
JP5971341B2 (ja) 物体検出装置及び運転支援装置
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP4692344B2 (ja) 画像認識装置
US20180075748A1 (en) Pedestrian recognition apparatus and method
US20150161796A1 (en) Method and device for recognizing pedestrian and vehicle supporting the same
EP2833096B1 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
EP3594853A2 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
KR20160135482A (ko) 동적 장애물 움직임 예측 장치 및 그 방법
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
EP2741234B1 (en) Object localization using vertical symmetry
KR20140004413A (ko) 안전운전 지원 장치 및 방법
JP2007323578A (ja) 車両周辺監視装置
KR101809088B1 (ko) 전방 차량 추돌 알림 장치 및 방법
JP4887932B2 (ja) 道路端認識装置、自動車、及び道路端認識方法
JP2017167608A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
KR101748497B1 (ko) 소리 정보에 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 시스템
KR101636301B1 (ko) 차량 충돌 방지 시스템 및 방법
KR101543119B1 (ko) 합성된 주행 영상 제공방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190923

Year of fee payment: 4