KR20160078865A - 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 - Google Patents
관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 Download PDFInfo
- Publication number
- KR20160078865A KR20160078865A KR1020150095173A KR20150095173A KR20160078865A KR 20160078865 A KR20160078865 A KR 20160078865A KR 1020150095173 A KR1020150095173 A KR 1020150095173A KR 20150095173 A KR20150095173 A KR 20150095173A KR 20160078865 A KR20160078865 A KR 20160078865A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- area
- interest
- rear camera
- controller
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 119
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000012706 support-vector machine Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 description 17
- 238000013459 approach Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
- B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
Abstract
관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템은 후방 카메라; 상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및 상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러를 포함하고, 상기 주행 모드로 설정된 컨트롤러는 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지한다.
Description
본 발명은 차량용 영상 모니터링 시스템에서 차량의 후방 좌우 옆 차선 영역을 감지하는 방법에 대한 기술로서, 구체적으로, 주행 중인 차량의 차량용 영상 모니터링 시스템에 포함되는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 기술에 관한 것이다.
일반적인 차량에는 측방 및 후방에 대한 운전자의 시야 확보를 위한 룸미러와 사이드미러가 설치된다. 그러나, 차량의 운전자가 룸미러 및 사이드미러만을 이용하는 경우, 차량의 측방 및 후방에 대한 운전자의 시야에 사각 지대가 존재하게 된다. 여기서, 차량의 사각 지대는 오브젝트가 차량의 운전자에 의해 보이지 아니하게 되는 각도에 위치한 영역을 의미하는 것으로, 차량, 룸미러 및 사이드미러의 구조적 특징으로 발생될 수 있다.
이와 같은 차량의 사각 지대 중 차량의 후방 좌우 옆 차선 영역에 대한 운전자의 시야의 부재는 차량의 사고를 유발하는 중요 원인으로서, 차량의 후방 좌우 옆 차선 영역에 위치하는 오브젝트를 감지하기 위해서는, 차량의 운전자가 직접 고개를 돌려 시야를 변경해야 하는 문제점이 있다.
이에, 본 명세서에서는 차량에 설치된 차량용 영상 모니터링 시스템을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 기술을 제안한다.
본 발명의 실시예는 차량에 설치된 차량용 영상 모니터링 시스템에 포함되는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예는 다양한 특징 추출 기법을 적용하여 관심영역에서 특징을 추출하고, 다양한 사물 식별 기법을 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예는 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 추정하여 관심영역에 오브젝트가 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 동작을 선택적으로 수행하는 방법, 장치 및 시스템을 제공한다.
본 발명의 일실시예에 따르면, 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템은 후방 카메라; 상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및 상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러를 포함하고, 상기 주행 모드로 설정된 컨트롤러는 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지한다.
상기 주행 모드로 설정된 컨트롤러는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 상기 차량의 후방 좌우 옆 차선 영역 중 상기 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 상기 관심영역으로 설정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 HOG 기법을 적용하는 경우, 상기 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 상기 HOG 기법에 이용되는 파라미터들을 설정할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 또는 상기 관심영역에서 상기 오브젝트가 상기 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 관심영역에 상기 오브젝트가 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 관심영역에서 벗어나는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량의 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 미리 설정된 거리 이상의 제1 영역, 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 상기 미리 설정된 거리 미만의 제2 영역 또는 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되지 않는 제3 영역 중 어느 영역에 상기 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 관심영역에서 상기 오브젝트가 상기 제2 영역에 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 제3 영역으로 진입하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 오브젝트가 상기 제3 영역에 진입함을 감지하여 상기 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지한 경우, 상기 알람을 해제할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량용 영상 모니터링 시스템에 포함되는 전방 카메라로부터 획득되는 이미지 또는 상기 후방 카메라로부터 획득되는 이미지를 이용하여, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지할 수 있다.
상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보, 상기 후방 카메라로부터 획득되는 이미지에 위치하는 상기 오브젝트의 외양 정보, 상기 컨트롤러의 연산 속도 또는 상기 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
상기 주행 모드로 설정된 컨트롤러는 상기 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지할 수 있다.
본 발명의 일실시예에 따르면, 차량용 영상 모니터링 시스템에서 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법은 상기 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정하는 단계; 후방 카메라로부터 획득되는 이미지를 메모리에 저장하는 단계; 및 상기 컨트롤러를 이용하여, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계를 포함하고, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계는 상기 주행 모드로 설정된 컨트롤러를 이용하여, 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계; 및 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 단계를 포함한다.
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는 상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정하는 단계를 포함할 수 있다.
상기 관심영역을 설정하는 단계는 상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정하는 단계를 포함할 수 있다.
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는 HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하는 단계; 및 SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지하는 단계를 포함할 수 있다.
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 여부를 감지하는 단계를 포함할 수 있다.
본 발명의 실시예는 차량에 설치된 차량용 영상 모니터링 시스템에 포함되는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공할 수 있다.
따라서, 본 발명의 실시예는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 전체 영역에 대응하는 부분에서 오브젝트를 감지하는 대신에, 차량의 후방 좌우 옆 차선 영역 중 적어도 일부에 대한 관심영역에서만 오브젝트를 감지함으로써, 오브젝트 감지를 위한 계산량을 현저하게 감소시킬 수 있다.
이에, 본 발명의 실시예는 오브젝트 감지를 위한 계산량이 감소된 기술을 이용하기 때문에, 저가의 장치에서도 구현이 가능하다.
또한, 본 발명의 실시예는 다양한 특징 추출 기법을 적용하여 관심영역에서 특징을 추출하고, 다양한 사물 식별 기법을 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예는 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 추정하여 관심영역에 오브젝트가 진입하는지 여부를 감지하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 동작을 선택적으로 수행하는 방법, 장치 및 시스템을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 관심영역을 이용하여 후방 좌우 옆 차선 영역을 감지하는 방법을 설명하기 위해 후방 카메라로부터 획득되는 이미지를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 차량의 후방 좌우 옆 차선 영역을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 플로우 차트이다.
도 6은 도 5에 도시된 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계를 구체적으로 나타낸 플로우 차트이다.
도 7은 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 관심영역을 이용하여 후방 좌우 옆 차선 영역을 감지하는 방법을 설명하기 위해 후방 카메라로부터 획득되는 이미지를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 차량의 후방 좌우 옆 차선 영역을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 플로우 차트이다.
도 6은 도 5에 도시된 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계를 구체적으로 나타낸 플로우 차트이다.
도 7은 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 차량(110)의 내부에 설치될 수 있다. 여기서, 차량용 영상 모니터링 시스템은 전방 카메라(120), 후방 카메라(130), 메모리 및 컨트롤러를 포함할 수 있다. 도면에는 메모리 및 컨트롤러가 전방 카메라(120) 또는 후방 카메라(130) 중 어느 하나와 결합되어 구성되도록, 별도로 도시되지 않았으나, 이에 제한되거나 한정되지 않고, 전방 카메라(120) 및 후방 카메라(130)와 별도의 장치로 구비될 수도 있다. 또한, 차량용 영상 모니터링 시스템에 후방 카메라(130)는 반드시 포함되나, 전방 카메라(120)는 선택적으로 포함될 수 있다. 이 때, 후방 카메라(130)는 단안 카메라일 수 있다.
전방 카메라(120)은 차량(110)의 전방을 향해 미리 설정된 각도에 따른 시야(121)의 이미지를 획득한다. 이 때, 전방 카메라(120)는 컨트롤러의 모드에 따라, 고화질의 이미지 또는 저화질의 이미지를 선택적으로 획득할 수 있다.
또한, 후방 카메라(130)는 차량(110)의 후방을 향해 미리 설정된 각도에 따른 시야(131)의 이미지를 획득한다. 이 때, 후방 카메라(130) 역시, 컨트롤러의 모드에 따라, 고화질의 이미지 또는 저화질의 이미지를 선택적으로 획득할 수 있다.
예를 들어, 전방 카메라(120) 및 후방 카메라(130)는 컨트롤러가 주행 모드로 설정된 경우, 미리 설정된 화질 이상의 고화질 이미지를 획득할 수 있고, 컨트롤러가 주차 모드로 설정된 경우, 미리 설정된 화질 미만의 저화질 이미지를 획득할 수 있다. 따라서, 전방 카메라(120) 및 후방 카메라(130)는 획득하는 이미지의 화질을 선택적으로 조절함으로써, 이미지를 획득하는 과정에서의 전력 소모를 최소화할 수 있다. 이와 같이, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지는 메모리에 저장될 수 있다.
컨트롤러는 차량(110)이 주행하는지 여부를 기초로, 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출한다. 이 때. 컨트롤러는 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출할 수 있다.
여기서, 전방 카메라(120) 및 후방 카메라(130) 각각으로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 동작에는 일반적인 이벤트 검출 기술이 이용될 수 있다. 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
일반적으로 차량(110)에 설치된 룸미러(140)를 이용한 운전자의 시야(141) 및 사이드미러(150)를 이용한 운전자의 시야(151)만으로는 차량의 후방 좌우 옆 차선 영역에 대한 사각 지대(160)가 존재하게 된다. 따라서, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 컨트롤러의 모드가 주행 모드로 설정되는 경우, 차량(110)이 주행하는 동안, 후방 카메라(120)로부터 획득되는 이미지에서 차량(110)의 사각 지대(160)인 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지함으로써, 차량(110)의 사각 지대(160)인 후방 좌우 옆 차선 영역을 확인할 수 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
도 2는 본 발명의 일실시예에 따른 관심영역을 이용하여 후방 좌우 옆 차선 영역을 감지하는 방법을 설명하기 위해 후방 카메라로부터 획득되는 이미지를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템에 포함되는 후방 카메라는 주행 모드로 설정된 컨트롤러의 제어에 따라, 차량의 후방을 향해 미리 설정된 각도에 따른 시야의 이미지(210, 220)를 획득할 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 차량이 주행하는 동안에 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지한다.
이 때, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지하기 위하여, 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)에 대응하는 관심영역(250)에 대한 감지 기능을 활성화할 수 있다.
여기서, 관심영역(250)은 차량의 후방 좌우 옆 차선 영역(211, 221) 중 적어도 일부에 대해 고정된 영역으로서, 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보에 기초하여 설정될 수 있다.
예를 들어, 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보 및 후방 카메라로부터 획득되는 이미지(210, 220)에서 소실점의 위치 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 차량의 사이드미러 및 룸미러의 사각지대가 계산되고, 계산된 사각지대를 포함한 영역이 관심영역(250)으로 설정될 수 있다. 또한, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 오브젝트(230, 240)의 그림자 정보를 이용하여 결정될 수 있다.
더 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 오브젝트의 그림자가 탐색되지 않는 경우, 관심영역(250)을 아예 설정하지 않을 수 있고, 오브젝트의 그림자의 형태 및 밝기 분포에 따라 관심영역(250)의 크기를 최소한의 크기로 설정하거나, 관심영역(250)의 위치를 오브젝트를 정확히 감지하도록 동적으로 결정할 수 있다.
주행 모드로 설정된 컨트롤러는 관심영역(250)에 대한 감지 기능을 활성화하여 관심영역(250)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지할 수 있다. 따라서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221) 중 적어도 일부에 대해 고정된 영역인 관심영역(250)에서만 오브젝트(230, 240)를 감지하기 때문에, 후방 좌우 옆 차선 영역(211, 221) 전체에 대해 오브젝트(230, 240)를 추적하여 감지하는 기술에 비해 오브젝트(230, 240) 감지 계산량을 현저하게 감소시킬 수 있다.
구체적으로, 주행 모드로 설정된 컨트롤러는 활성화된 관심영역(250)에 대한 감지 기능을 기초로, HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역(250)에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 오브젝트(230, 240)를 식별함으로써, 관심영역(250)에 오브젝트(230, 240)가 위치하는지 여부를 감지할 수 있다. 이하, HOG 기법, SVM 기법, Haar-like feature 기법, Adaboost 기법 및 인공신경망 기법에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
또한, 주행 모드로 설정된 컨트롤러는 활성화된 관심영역(250)에 대한 감지 기능을 기초로, 오브젝트(230, 240)의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트(230, 240)의 모션 벡터를 계산하여 관심영역(250)에 오브젝트(230, 240)가 진입하는지 또는 관심영역(250)에서 오브젝트(230, 240)가 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다. 이 때, 오브젝트(230, 240)의 모션 벡터를 계산하는 과정은 기존의 모션 벡터 계산 기법에 의해 수행될 수 있다. 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다. 또한, 주행 모드로 설정된 컨트롤러는 오브젝트(230, 240)의 모션 벡터를 계산하는 대신에, 오브젝트(230, 240)의 상대 속도를 추정하여 관심영역(250)에 오브젝트(230, 240)가 진입하는지 여부를 감지할 수 있다.
예를 들어, (a)와 같이, 후방 카메라로부터 획득되는 이미지(210, 220) 중 이전 프레임에 대한 이미지(210)에서 관심영역(250)에 오브젝트(230, 240)가 위치하지 않다가, (b)와 같이, 현재 프레임에 대한 이미지(220)에서 관심영역(250)에 오브젝트(230, 240)가 위치한 경우, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 오브젝트(230, 240)가 위치함을 감지할 수 있다.
보다 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 이전 프레임에 대한 이미지(210)에서 추출된 제1 오브젝트(230)에 대한 외양 정보 또는 식별 정보가 현재 프레임에 대한 이미지(220)에서 추출된 제1 오브젝트(230)에 대한 외양 정보 또는 식별 정보로 변화됨을 인식하거나, 이전 프레임에 대한 이미지(210) 및 현재 프레임에 대한 이미지(220)에서 제1 관심영역(251)에 포함되는 픽셀 블록의 차이에 기초하여 제1 오브젝트(230)의 모션 벡터를 계산함으로써, 제1 관심영역(251)에 제1 오브젝트(230)가 진입하거나, 제1 관심영역(251)에서 제1 오브젝트(230)가 차량과 동일한 속도로 주행함을 감지할 수 있다.
다른 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 현재 프레임에 대한 이미지(220)에서 제2 관심영역(252)에 대한 감지 기능을 활성화한 후, 제2 오브젝트(240)의 외양 정보 또는 식별 정보를 기초로 HOG 기법 및 SVM 기법을 적용하여 제2 관심영역(252)에 제2 오브젝트(240)가 위치함을 감지할 수 있다. 이 때, 주행 모드로 설정된 컨트롤러는 HOG 기법을 적용하는 경우, 오브젝트(230, 240)를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 최적화하도록 설정함으로써(오브젝트(230, 240)의 대칭성, 오브젝트(230, 240)에 대한 에지의 각도 분포 특성 및 오브젝트(230, 240)의 외양 특성이 집중적으로 분포하는 구간 등의 파라미터들을 설정함), HOG 기법의 연산 속도를 향상시킬 수 있다.
상술된 오브젝트(230, 240)의 외양 정보는 오브젝트(230, 240)의 종류 및 크기와 관련된 외양 정보(전면 외양 정보 또는 측면 외양 정보)와 오브젝트(230, 240)가 주행함에 따른 오브젝트(230, 240)의 자세와 관련된 정보를 포함할 수 있다. 또한, 오브젝트(230, 240)의 식별 정보는 오브젝트(230, 240)가 차량인 경우, 차량의 번호판 크기를 의미할 수 있다. 이하, 오브젝트(230, 240)는 차량인 경우로 설명하지만, 이에 제한되거나 한정되지 않고, 사람, 오토바이, 자전거 또는 표지판 등과 같이 차량이 주행함에 있어, 충돌의 여지가 있는 모든 물체일 수 있다.
관심영역(250)은 후방 카메라로부터 획득되는 이미지(210, 220)에서 차량의 후방 좌우 옆 차선 영역(211, 221)을 탐색하기 위한 이미지(210, 220) 상의 특정 영역으로서, 주행 모드로 설정된 컨트롤러에 의해 적응적으로 조절될 수 있다.
예를 들어, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 후방 카메라로부터 획득되는 이미지(210, 220)에서 검출된 좌우 옆 차선 정보, 후방 카메라로부터 획득되는 이미지(210, 220)에서 소실점의 위치 정보 또는 후방 카메라로부터 획득되는 이미지(210, 220)에 위치하는 오브젝트(230, 240)의 외양 정보 중 적어도 어느 하나에 기초하여 설정될 수 있다.
더 구체적인 예를 들면, 관심영역(250)은 후방 카메라로부터 획득되는 이미지(210, 220)에 위치하는 오브젝트(230, 240)의 외양 정보에 따라 좌우로 넙적한 직사각의 형태나 위 아래로 긴 직사각 형태를 가질 수 있다. 여기서, 오브젝트(230, 240)의 외양 정보는 오브젝트(230, 240)가 생성하는 그림자에 대한 정보를 포함할 수도 있다.
또한, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 주행 모드로 설정된 컨트롤러의 연산 속도 또는 주행 모드로 설정된 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다.
예를 들어, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 위에서 상술된 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하는지 여부를 감지하는 과정에서, 후방 카메라로부터 획득되는 이미지(210, 220)에서 특징을 추출하는데 적용되는 HOG 기법, Haar-like feature 기법과 오브젝트(230, 240)를 식별하는데 적용되는 SVM 기법, Adaboost 기법 또는 인공신경망 기법 중 적어도 어느 하나에 따라 적응적으로 설정될 수 있다.
더 구체적인 예를 들면, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 주행 모드로 설정된 컨트롤러가 HOG 기법을 적용하는 연산 속도가 최소화되도록 설정될 수 있다.
이 때, 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나가 적응적으로 설정됨에 따라, 차량의 후방 좌우 옆 차선 영역(211, 221) 모두를 감지하는 대신에, 차량으로부터 미리 설정된 거리 이내의 후방 좌우 옆 차선 영역(211, 221)만을 감지할 수 있다. 따라서, 주행 모드로 설정된 컨트롤러는 관심영역(250)의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 적응적으로 설정함으로써, 관심영역(250)에 대한 감지 기능을 활성화하는데 소모되는 전력을 조절할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 주행 모드로 설정된 컨트롤러는 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고, 후방 카메라로부터 획득되는 이미지(210, 220)에서 관심영역(250)에 오브젝트(230, 240)가 위치하는지 또는 진입하는지 여부를 감지하고, 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다.
또한, 관심영역(250)에 오브젝트(230, 240)가 위치하지 않거나, 벗어나는 것을 감지한 경우, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 오브젝트(230, 240)가 위치하지 않거나, 벗어남을 알람으로 차량의 운전자에게 알릴 수 있다. 이 때, 주행 모드로 설정된 컨트롤러는 관심영역(250)에 오브젝트(230, 240)가 위치하는 경우, 활성화된 관심영역(250)에 대한 감지 기능을 기초로, 오브젝트(230, 240)의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트(230, 240)의 모션 벡터를 계산하여 오브젝트(230, 240)가 관심영역(250)에서 벗어나는지 여부를 감지할 수 있다.
또한, 이러한 통지 동작은 차량의 운전자로부터 미리 입력 받은 설정에 따라 선택적으로 수행되지 않을 수도 있다(예컨대, 설정에 따라, 차량의 후방 좌우 옆 차선 영역(211, 221)에 오브젝트(230, 240)가 위치하지 않음을 차량의 운전자에게 알리는 동작은 수행되지 않을 수 있음).
또한, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역(211, 221)에 대응하는 관심영역(250)을 복수 개의 영역들로 구분하여 오브젝트(230, 240)가 위치하지 또는 진입하는지 여부를 감지하고, 운전자에게 알람으로 통지할 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 3은 본 발명의 일실시예에 따른 차량의 후방 좌우 옆 차선 영역을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역을 복수 개의 영역들로 구분하여, 복수 개로 구분된 영역들 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
여기서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 또는 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보 중 적어도 어느 하나에 기초하여, 후방 카메라로부터 획득되는 이미지의 관심영역 상에서 차량의 후방 좌우 옆 차선 영역을 제1 영역(310), 제2 영역(320) 및 제3 영역(330)으로 구분할 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 관심영역에서, 차량의 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 이상의 제1 영역(310), 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 미만의 제2 영역(320) 또는 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되지 않는 제3 영역(330) 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 제1 영역(310), 제2 영역(320) 및 제3 영역(330) 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 과정에서, 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 또는 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보 중 적어도 어느 하나를 이용할 수 있다. 더 구체적인 예를 들면, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여, 오브젝트가 관심영역 내에서 미리 설정된 거리 이상인지 또는 미만인지를 판단할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 대한 감지 기능을 활성화함으로써, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 또는 진입하는지를 감지할 수 있다.
구체적으로, 주행 모드로 설정된 컨트롤러는 활성화된 관심영역(250)에 대한 감지 기능을 기초로, HOG 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 특징을 추출하고, SVM 기법, Adaboost 기법 또는 인공신경망 기법 중 적어도 어느 하나를 적용하여 오브젝트를 식별함으로써, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 여부를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 복수의 오브젝트들 각각에 대한 외양 정보 또는 식별 정보를 데이터베이스에 미리 저장하여 유지하다가, HOG 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 추출된 특징을 기초로, SVM 기법, Adaboost 기법 또는 인공신경망 기법 중 적어도 어느 하나를 적용하여 식별된 오브젝트의 외양 정보 또는 식별 정보를 데이터베이스에 저장된 복수의 오브젝트들 각각에 대한 외양 정보 또는 식별 정보와 비교함으로써, 오브젝트가 제1 영역(310) 또는 제2 영역(320) 중 어느 영역에 위치하는지를 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트(230, 240)의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트(230, 240)의 모션 벡터를 계산하여 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 진입하는지 또는 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에서 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다.
특히, 제3 영역(330)은 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되지 않는 영역이기 때문에, 주행 모드로 설정된 컨트롤러는 오브젝트가 제2 영역(320)에 위치하는 경우, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트가 제3 영역(330)으로 진입하는지 여부를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 오브젝트가 제2 영역(320)에 위치하다가, 계산된 오브젝트의 모션 벡터가 제3 영역(330)을 향하는 경우(이전 프레임에 대한 이미지의 관심영역에서 오브젝트의 모션 벡터가 제3 영역(330)-제2 영역(320)에 대해 전방-을 향함으로써, 오브젝트는 현재 프레임에 대한 이미지의 관심영역 상 제2 영역(320)에서 사라지고, 제3 영역(330)에 진입하게 됨), 오브젝트가 제3 영역(330)으로 진입하는지 여부를 감지할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러는 제1 영역(310), 제2 영역(320) 및 제3 영역(330) 중 오브젝트가 위치하거나 진입하는 영역에 따라, 구별되는 알람으로 운전자에게 통지할 수 있다. 예를 들어, 오브젝트가 제3 영역(330)에 진입하는 것으로 감지된 경우, 주행 모드로 설정된 컨트롤러는 오브젝트가 제1 영역(310) 또는 제2 영역(320)에 위치하거나 진입하는 경우보다 긴급하고 큰 알람 소리로 운전자에게 감지 결과를 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트가 제3 영역(330)에 진입함을 감지하여 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 오브젝트가 제3 영역(330)에서 벗어남을 감지한 경우, 알람을 해제할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러는 오브젝트가 제3 영역(330)에 진입함을 감지하여 운전자에게 알람으로 통지한 후, 전방 카메라로부터 획득되는 이미지 또는 후방 카메라로부터 획득되는 이미지를 이용하여, 오브젝트가 제3 영역(330)에서 벗어남을 감지하는 경우, 운전자에게 통지되던 알람을 해제할 수 있다. 이 때, 오브젝트는 제2 영역(320)을 경유하여 제3 영역(330)에 진입하였기 때문에, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지에서 오브젝트가 제2 영역(320)에 위치했을 때 추출된 오브젝트에 대한 외양 정보 또는 오브젝트의 식별 정보를 기초로, 전방 카메라로부터 획득되는 이미지 또는 후방 카메라로부터 획득되는 이미지에서 외양 정보 또는 식별 정보에 매칭되는 오브젝트가 존재하는지 여부를 판단함으로써, 오브젝트가 제3 영역(330)에서 벗어남을 감지할 수 있다.
더 구체적인 예를 들면, 오브젝트가 제2 영역(320)을 경유하여 제3 영역(330)에 진입했다가 차량의 전방으로 이동하였다면, 주행 모드로 설정된 컨트롤러는 오브젝트가 제2 영역(320)에 위치했을 때 추출한 오브젝트에 대한 외양 정보 또는 식별 정보를 임시 저장했다가, 전방 카메라로부터 획득되는 이미지에서 임시 저장된 외양 정보 또는 식별 정보에 매칭되는 오브젝트가 존재함을 판단하고, 해당 오브젝트가 제3 영역(330)에서 벗어남을 감지할 수 있다.
이와 같이, 주행 모드로 설정된 컨트롤러는 차량의 후방 좌우 옆 차선 영역을 제1 영역(310), 제2 영역(320) 및 제3 영역(330)으로 구분하여, 오브젝트가 제1 영역(310), 제2 영역(320) 또는 제3 영역(330) 중 어느 영역에 위치하는지 또는 진입하는지 여부를 감지함으로써, 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 위치하는 오브젝트에 대한 감지 결과를 위험도에 따라 알람으로 운전자에게 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트가 차량보다 빠른 속도로 차량의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로 오브젝트를 감지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 차량이 오브젝트보다 빠른 속도로 주행함에 따라, 오브젝트가 차량의 후방 좌우 옆 차선 영역의 관심영역에 위치하거나 진입하게 되는 경우에는 오브젝트를 감지하여 감지 결과를 알람으로 운전자에게 통지하는 것을 수행하지 않을 수 있다. 이에 대한 상세한 설명은 도 4를 참조하여 기재하기로 한다.
도 4는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 주행 모드로 설정된 컨트롤러는 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로 오브젝트(420)를 감지할 수 있다.
구체적으로, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로 오브젝트(420)를 감지하고, 감지 결과를 알람으로 운전자에게 통지할 수 있다.
예를 들어, (a)와 같이 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우, 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트(420)의 외양 정보는 전면 외양 정보(421)로부터 측면 외양 정보(422)의 순서로 변화될 수 있다. 반면에, (b)와 같이 차량(410)이 오브젝트(420)보다 빠른 속도로 주행함에 따라, 오브젝트(420)가 차량(410)의 후방 좌우 옆 차선 영역의 관심영역에 위치하게 되는 경우, 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트(420)의 외양 정보는 측면 외양 정보(422)로부터 전면 외양 정보(421)의 순서로 변화될 수 있다.
따라서, 주행 모드로 설정된 컨트롤러는 후방 카메라로부터 획득되는 이미지의 관심영역에서 추출된 오브젝트(420)에 대한 외양 정보가 전면 외양 정보(421)로부터 측면 외양 정보(422)의 순서로 변화되는 경우에만, 선택적으로 오브젝트(420)를 감지함으로써, 오브젝트(420)가 차량(410)보다 빠른 속도로 차량(410)의 후방 좌우 옆 차선 영역의 관심영역으로 접근하는 경우에만 선택적으로, 오브젝트(420)를 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러는 오브젝트(420)를 선택적으로 감지하는 대신에, 선택적으로 감지 결과를 차량(410)의 운전자에게 통지할 수도 있다. 이러한 경우, 주행 모드로 설정된 컨트롤러는 오브젝트(420)를 감지한 후, 감지된 오브젝트(420)에 대한 외양 정보의 변화에 기초하여 선택적으로 감지 결과를 알람으로 운전자에게 통지할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러는 감지된 오브젝트(420)에 대한 외양 정보가 전면 외양 정보(421)로부터 측면 외양 정보(422)로 변화되는 경우에만, 선택적으로 감지 결과를 운전자에게 통지할 수 있다.
도 5는 본 발명의 일실시예에 따른 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정한다(510).
이 때, 컨트롤러가 주행 모드로 설정되는 경우, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 후방 카메라가 미리 설정된 화질 이상의 고화질의 이미지를 획득하도록 후방 카메라를 제어할 수 있다. 또한, 컨트롤러는 차량용 영상 모니터링 시스템에 포함되는 전방 카메라가 미리 설정된 화질 이상의 고화질의 이미지를 획득하도록 전방 카메라를 제어할 수도 있다.
반면에, 컨트롤러가 주차 모드로 설정되는 경우, 주차 모드로 설정된 컨트롤러를 이용하여, 후방 카메라가 미리 설정된 화질 미만의 저화질의 이미지를 획득하도록 후방 카메라를 제어할 수 있다. 또한, 컨트롤러는 전방 카메라가 미리 설정된 화질 미만의 저화질의 이미지를 획득하도록 전방 카메라를 제어할 수도 있다.
이어서, 차량용 영상 모니터링 시스템은 후방 카메라로부터 획득되는 이미지를 메모리에 저장한다(520).
그 다음, 차량용 영상 모니터링 시스템은 컨트롤러를 이용하여, 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출한다. 여기서, 차량용 영상 모니터링 시스템은 메모리에 저장된 후방 카메라로부터 획득되는 이미지를 이용할 수 있다. 이러한 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 동작에는 일반적인 이벤트 검출 기술이 이용될 수 있다. 또한, 차량용 영상 모니터링 시스템은 전방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출할 수도 있다.
이 때, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 차량이 주행하는 동안에, 후방 카메라로부터 획득되는 이미지에서 관심영역을 설정한다(530). 예를 들어, 차량용 영상 모니터링 시스템은 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 관심영역을 설정할 수 있다. 더 구체적인 예를 들면, 차량용 영상 모니터링 시스템은 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 관심영역으로 설정할 수 있다. 또한, 차량용 영상 모니터링 시스템은 오브젝트의 그림자 정보를 이용하여 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정할 수 있다.
그 다음, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지한다(540). 예를 들어, 차량용 영상 모니터링 시스템은 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 후방 카메라로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
구체적으로, 차량용 영상 모니터링 시스템은 주행 모드로 설정된 컨트롤러를 이용하여, 후방 카메라로부터 획득되는 이미지에서 차량의 후장 좌우 옆 차선 영역에 대응하는 관심영역에 대한 감지 기능을 활성화함으로써, 후방 카메라로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다. 이에 대한 상세한 설명은 도 6을 참조하여 기재하기로 한다.
여기서, 차량의 후방 좌우 옆 차선 영역 중 적어도 일부에 대해 고정된 영역인 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보, 후방 카메라로부터 획득되는 이미지에 위치하는 오브젝트의 외양 정보, 컨트롤러의 연산 속도 또는 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다. 이와 같이 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나가 설정되는 과정은 530 단계에서 수행될 수 있다.
그 후, 차량용 영상 모니터링 시스템은 감지 결과를 차량의 운전자에게 알람으로 통지한다(550). 예를 들어, 차량용 영상 모니터링 시스템은 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 감지 결과를 차량의 운전자에게 통지할 수 있다. 이러한 통지 동작은 차량의 설정에 따라 적응적으로 수행될 수 있다.
도 6은 도 5에 도시된 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계를 구체적으로 나타낸 플로우 차트이다.
도 6을 참조하면, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수 있다(610).
이 때, 차량용 영상 모니터링 시스템은 HOG 기법을 적용하는 경우, 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 설정할 수 있다.
또한, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에 오브젝트가 진입하는지 또는 관심영역에 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수도 있다
또한, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에서 오브젝트가 차량을 기준으로 미리 설정된 범위 내로 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다(620).
관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우, 차량용 영상 모니터링 시스템은 차량의 운전자에게 통지할 알람값을 결정할 수 있다(630). 예를 들어, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우 및 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우 모두 차량의 운전자에게 통지될 알람값은 참(true)값인 1로 결정될 수 있다.
반면에, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하지 않거나, 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하지 않거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하지 않는 경우에는 차량의 운전자에게 통지될 알람값은 거짓(false)값인 0으로 결정될 수 있다.
따라서, 차량용 영상 모니터링 시스템은 결정된 알람값에 기초하여, 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다.
또한, 도면에는 도시하지 않았지만, 차량용 영상 모니터링 시스템은 활성화된 관심영역에 대한 감지 기능을 기초로, 후방 카메라로부터 획득되는 이미지의 관심영역에서 차량의 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 이상의 제1 영역, 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되는 차량으로부터 미리 설정된 거리 미만의 제2 영역 또는 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라에 의해 촬영되지 않는 제3 영역 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
예를 들어, 차량용 영상 모니터링 시스템은 관심영역에서 오브젝트가 제2 영역에 위치하는 경우, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트가 제3 영역으로 진입하는지 여부를 감지할 수 있다.
또한, 차량용 영상 모니터링 시스템은 오브젝트가 제3 영역에 위치함을 감지하여 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 오브젝트가 제3 영역에서 벗어남을 감지한 경우, 알람을 해제할 수 있다.
이 때, 차량용 영상 모니터링 시스템은 전방 카메라로부터 획득되는 이미지 또는 후방 카메라로부터 획득되는 이미지를 이용하여, 오브젝트가 제3 영역에서 벗어남을 감지할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 차량의 후방 좌우 옆 차선 영역을 감지하는 방법은 차량에 설치된 차량용 영상 모니터링 시스템을 이용하기 때문에, 차량용 영상 모니터링 시스템이 설치된 차량에서 용이하게 수행될 수 있다.
도 7은 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템을 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 차량용 영상 모니터링 시스템은 후방 카메라(710), 메모리(720) 및 컨트롤러(730)를 포함한다.
후방 카메라(710)는 차량의 후방을 향해 미리 설정된 각도에 따른 이미지를 획득한다.
메모리(720)는 후방 카메라(710)로부터 획득되는 이미지를 저장한다.
컨트롤러(730)는 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 후방 카메라(710)로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출한다.
여기서, 도면에는 도시하지 않았지만, 차량용 영상 모니터링 시스템은 차량의 전방을 향해 미리 설정된 각도에 따른 이미지를 획득하는 전방 카메라를 더 포함할 수 있다. 따라서, 메모리(720)는 전방 카메라로부터 획득되는 이미지를 저장할 수 있고, 컨트롤러(730)는 전방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출할 수도 있다.
이 때, 주행 모드로 설정된 컨트롤러(730)는 차량이 주행하는 동안에, 후방 카메라(710)로부터 획득되는 이미지에서 차량의 후방 좌우 옆 차선 영역에 대응하는 관심영역을 설정하고, 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지한다. 예를 들어, 주행 모드로 설정된 컨트롤러(730)는 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 후방 카메라(710)로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
특히, 주행 모드로 설정된 컨트롤러(730)는 후방 카메라(710)로부터 획득되는 이미지에서 차량의 후장 좌우 옆 차선 영역에 대응하는 관심영역에 대한 감지 기능을 활성화함으로써, 후방 카메라(710)로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지할 수 있다.
여기서, 주행 모드로 설정된 컨트롤러(730)는 차량용 영상 모니터링 시스템은 후방 카메라(710)로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 관심영역을 설정할 수 있다. 예를 들어, 주행 모드로 설정된 컨트롤러(730)는 후방 카메라(710)로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 후방 카메라(710)로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 차량의 후방 좌우 옆 차선 영역 중 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 관심영역으로 설정할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 오브젝트의 그림자 정보를 이용하여 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정할 수 있다. 예를 들어, 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는 후방 카메라(710)로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 후방 카메라(710)로부터 획득되는 이미지에서 소실점의 위치 정보, 후방 카메라(710)로부터 획득되는 이미지에 위치하는 오브젝트의 외양 정보, 컨트롤러(730)의 연산 속도 또는 컨트롤러(730)의 소모 전력 중 적어도 어느 하나에 기초하여 설정될 수 있다. 이와 같이 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나가 설정되는 과정은 주행 모드로 설정된 컨트롤러(730)가 관심영역을 설정하는 과정에서 수행될 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 감지 결과를 차량의 운전자에게 알람으로 통지한다. 예를 들어, 주행 모드로 설정된 컨트롤러(730)는 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 감지 결과를 차량의 운전자에게 통지할 수 있다. 이러한 통지 동작은 차량의 설정에 따라 적응적으로 수행될 수 있다.
후방 카메라(710)로부터 획득되는 이미지에서 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 주행 모드로 설정된 컨트롤러(730)의 동작은 다음과 같다.
구체적으로, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 오브젝트를 식별함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수 있다.
여기서, 주행 모드로 설정된 컨트롤러(730)는 HOG 기법을 적용하는 경우, 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 HOG 기법에 이용되는 파라미터들을 설정할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에 오브젝트가 진입하는지 또는 관심영역에 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지함으로써, 관심영역에 오브젝트가 위치하는지 여부를 감지할 수도 있다
또한, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 관심영역에 오브젝트가 차량을 기준으로 미리 설정된 범위 내로 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지할 수 있다.
관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우, 주행 모드로 설정된 컨트롤러(730)는 차량의 운전자에게 통지할 알람값을 결정할 수 있다. 예를 들어, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하는 경우 및 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는 경우 모두 차량의 운전자에게 통지될 알람값은 참(true)값인 1로 결정될 수 있다.
반면에, 관심영역에 오브젝트가 위치하는지 여부를 감지한 결과, 관심영역에 오브젝트가 위치하지 않거나, 관심영역에 오브젝트가 접근하는지 또는 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하는지 여부를 감지한 결과, 관심영역에 오브젝트가 접근하지 않거나, 차량을 기준으로 미리 설정된 범위 내에서 오브젝트가 차량과 동일한 속도로 주행하지 않는 경우에는 차량의 운전자에게 통지될 알람값은 거짓(false)값인 0으로 결정될 수 있다.
따라서, 주행 모드로 설정된 컨트롤러(730)는 결정된 알람값에 기초하여, 감지 결과를 차량의 운전자에게 알람으로 통지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 활성화된 관심영역에 대한 감지 기능을 기초로, 후방 카메라(710)로부터 획득되는 이미지의 관심영역에서 차량의 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라(710)에 의해 촬영되는 차량으로부터 미리 설정된 거리 이상의 제1 영역, 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라(710)에 의해 촬영되는 차량으로부터 미리 설정된 거리 미만의 제2 영역 또는 사이드미러를 통하여 운전자에게 인지되지 않고 후방 카메라(710)에 의해 촬영되지 않는 제3 영역 중 어느 영역에 오브젝트가 위치하는지 또는 진입하는지를 감지할 수 있다.
예를 들어, 주행 모드로 설정된 컨트롤러(730)는 관심영역에서 오브젝트가 제2 영역에 위치하는 경우, 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 오브젝트의 모션 벡터를 계산하여 오브젝트가 제3 영역으로 진입하는지 여부를 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 오브젝트가 제3 영역에 위치함을 감지하여 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 오브젝트가 제3 영역에서 벗어남을 감지한 경우, 알람을 해제할 수 있다.
이 때, 주행 모드로 설정된 컨트롤러(730)는 전방 카메라로부터 획득되는 이미지 또는 후방 카메라(710)로부터 획득되는 이미지를 이용하여, 오브젝트가 제3 영역에서 벗어남을 감지할 수 있다.
또한, 주행 모드로 설정된 컨트롤러(730)는 전방 카메라 및 후방 카메라(710) 각각이 미리 설정된 화질 이상의 고화질의 이미지를 획득하도록 전방 카메라 및 후방 카메라(710) 각각을 제어할 수 있다.
반면에, 주차 모드로 설정된 컨트롤러(730)는 전방 카메라 및 후방 카메라(710) 각각이 미리 설정된 화질 미만의 저화질의 이미지를 획득하도록 전방 카메라 및 후방 카메라(710) 각각을 제어할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (20)
- 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 차량용 영상 모니터링 시스템에 있어서,
후방 카메라;
상기 후방 카메라로부터 획득되는 이미지를 저장하는 메모리; 및
상기 차량이 주행하는지 여부를 기초로 주행 모드 또는 주차 모드 중 어느 하나로 설정되어, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 컨트롤러
를 포함하고,
상기 주행 모드로 설정된 컨트롤러는
상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역을 설정하고, 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하여, 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 차량용 영상 모니터링 시스템. - 제1항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정하는 차량용 영상 모니터링 시스템. - 제2항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정하는 차량용 영상 모니터링 시스템. - 제2항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보 및 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보에 기초하여 상기 차량의 후방 좌우 옆 차선 영역 중 상기 차량의 사이드미러 및 룸미러의 사각지대를 계산하고, 계산된 사각지대를 포함한 영역을 상기 관심영역으로 설정하는 차량용 영상 모니터링 시스템. - 제1항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하고, SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지하는 차량용 영상 모니터링 시스템. - 제5항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 HOG 기법을 적용하는 경우, 상기 오브젝트를 포함하는 복수의 오브젝트들 각각에 대해 미리 구축된 외양 정보에 기초하여 상기 HOG 기법에 이용되는 파라미터들을 설정하는 차량용 영상 모니터링 시스템. - 제1항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 또는 상기 관심영역에서 상기 오브젝트가 상기 차량과 동일한 속도로 주행하는지 여부를 감지하는 차량용 영상 모니터링 시스템. - 제7항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 관심영역에 상기 오브젝트가 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 관심영역에서 벗어나는지 여부를 감지하는 차량용 영상 모니터링 시스템. - 제1항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 차량의 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 미리 설정된 거리 이상의 제1 영역, 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되는 상기 차량으로부터 상기 미리 설정된 거리 미만의 제2 영역 또는 상기 사이드미러를 통하여 상기 운전자에게 인지되지 않고 상기 후방 카메라에 의해 촬영되지 않는 제3 영역 중 어느 영역에 상기 오브젝트가 위치하는지 또는 진입하는지를 감지하는 차량용 영상 모니터링 시스템. - 제9항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 관심영역에서 상기 오브젝트가 상기 제2 영역에 위치하는 경우, 상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 오브젝트가 상기 제3 영역으로 진입하는지 여부를 감지하는 영상 모니터링 시스템. - 제10항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 오브젝트가 상기 제3 영역에 진입함을 감지하여 상기 차량의 운전자에게 알람으로 통지한 후, 미리 설정된 알람 시간이 경과하거나, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지한 경우, 상기 알람을 해제하는 차량용 영상 모니터링 시스템. - 제11항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 차량용 영상 모니터링 시스템에 포함되는 전방 카메라로부터 획득되는 이미지 또는 상기 후방 카메라로부터 획득되는 이미지를 이용하여, 상기 오브젝트가 상기 제3 영역에서 벗어남을 감지하는 차량용 영상 모니터링 시스템. - 제1항에 있어서,
상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나는
상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보, 상기 후방 카메라로부터 획득되는 이미지에서 소실점의 위치 정보, 상기 후방 카메라로부터 획득되는 이미지에 위치하는 상기 오브젝트의 외양 정보, 상기 컨트롤러의 연산 속도 또는 상기 컨트롤러의 소모 전력 중 적어도 어느 하나에 기초하여 설정되는 차량용 영상 모니터링 시스템. - 제1항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 차량이 주행하는 동안에, 프레임 각각에 대하여 또는 미리 설정된 시간 간격을 가지고 상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 차량용 영상 모니터링 시스템. - 제1항에 있어서,
상기 주행 모드로 설정된 컨트롤러는
상기 차량에 구비된 디스플레이 장치 또는 오디오 장치 중 적어도 어느 하나를 통하여 상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 차량용 영상 모니터링 시스템. - 차량용 영상 모니터링 시스템에서 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법에 있어서,
상기 차량이 주행하는지 여부를 기초로 컨트롤러를 주행 모드 또는 주차 모드 중 어느 하나로 설정하는 단계;
후방 카메라로부터 획득되는 이미지를 메모리에 저장하는 단계; 및
상기 컨트롤러를 이용하여, 상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계
를 포함하고,
상기 후방 카메라로부터 획득되는 이미지에서 미리 설정된 이벤트를 검출하는 단계는
상기 주행 모드로 설정된 컨트롤러를 이용하여, 상기 차량이 주행하는 동안에, 상기 후방 카메라로부터 획득되는 이미지에서 상기 차량의 후방 좌우 옆 차선 영역에 대응하는 상기 관심영역에 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계; 및
상기 감지 결과를 상기 차량의 운전자에게 알람으로 통지하는 단계
를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법. - 제16항에 있어서,
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는
상기 후방 카메라로부터 획득되는 이미지에서 검출된 좌우 옆 차선 정보에 기초하여 상기 관심영역을 설정하는 단계
를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법. - 제17항에 있어서,
상기 관심영역을 설정하는 단계는
상기 오브젝트의 그림자 정보를 이용하여 상기 관심영역의 위치, 형태, 크기 또는 개수 중 적어도 어느 하나를 결정하는 단계
를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법. - 제16항에 있어서,
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는
HOG(Histogram Of Gradients) 기법 또는 Haar-like feature 기법 중 적어도 어느 하나를 적용하여 상기 관심영역에서 특징을 추출하는 단계; 및
SVM(Support Vector Machine) 기법, Adaboost 기법 또는 인공신경망(Artificial Neural Network; ANN) 기법 중 적어도 어느 하나를 적용하여 상기 오브젝트를 식별함으로써, 상기 관심영역에 상기 오브젝트가 위치하는지 여부를 감지하는 단계
를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법. - 제16항에 있어서,
상기 관심영역에 상기 오브젝트가 위치하는지 또는 진입하는지 여부를 감지하는 단계는
상기 오브젝트의 외양 정보 또는 식별 정보의 변화를 인식하거나, 상기 오브젝트의 모션 벡터를 계산하여 상기 관심영역에 상기 오브젝트가 진입하는지 또는 상기 관심영역에 상기 오브젝트가 상기 차량과 동일한 속도로 주행하는지 여부를 감지하는 단계
를 포함하는 차량의 후방 좌우 옆 차선 영역을 감지하는 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/191,878 US10553116B2 (en) | 2014-12-24 | 2016-06-24 | Method for detecting right lane area and left lane area of rear of vehicle using region of interest and image monitoring system for vehicle using the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20140188351 | 2014-12-24 | ||
KR1020140188351 | 2014-12-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160078865A true KR20160078865A (ko) | 2016-07-05 |
KR101692628B1 KR101692628B1 (ko) | 2017-01-04 |
Family
ID=56502007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150095173A KR101692628B1 (ko) | 2014-12-24 | 2015-07-03 | 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10553116B2 (ko) |
KR (1) | KR101692628B1 (ko) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3056807A1 (fr) * | 2016-09-28 | 2018-03-30 | Valeo Schalter Und Sensoren Gmbh | Dispositif d'aide a la conduite d'un vehicule |
KR20180065585A (ko) * | 2016-12-08 | 2018-06-18 | 현대자동차주식회사 | 차량 및 그 제어방법 |
KR101956689B1 (ko) * | 2017-10-16 | 2019-07-04 | 주식회사 만도 | 긴급차량 운행경로 생성기능을 갖는 자동 순항 제어장치 및 제어방법 |
KR20190123932A (ko) * | 2018-04-25 | 2019-11-04 | 주식회사 만도 | 후측방 경보 시스템 및 그 제어 방법 |
US10650529B2 (en) | 2017-08-09 | 2020-05-12 | Samsung Electronics Co., Ltd. | Lane detection method and apparatus |
US10668924B2 (en) | 2016-11-29 | 2020-06-02 | Samsung Electronics Co., Ltd. | Method and apparatus to control velocity of vehicle |
US10685241B2 (en) | 2016-11-07 | 2020-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for indicating lane |
WO2020204350A3 (ko) * | 2019-04-01 | 2020-12-30 | 인천대학교 산학협력단 | 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법 |
CN112348894A (zh) * | 2020-11-03 | 2021-02-09 | 中冶赛迪重庆信息技术有限公司 | 废钢货车位置及状态识别方法、系统、设备及介质 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10300851B1 (en) * | 2018-10-04 | 2019-05-28 | StradVision, Inc. | Method for warning vehicle of risk of lane change and alarm device using the same |
US10474930B1 (en) * | 2018-10-05 | 2019-11-12 | StradVision, Inc. | Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same |
CN109886122B (zh) * | 2019-01-23 | 2021-01-29 | 珠海市杰理科技股份有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
KR20210005439A (ko) | 2019-07-05 | 2021-01-14 | 현대자동차주식회사 | 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법 |
CN112949448A (zh) * | 2021-02-25 | 2021-06-11 | 深圳市京华信息技术有限公司 | 车后来车提示方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2641562B2 (ja) * | 1989-04-28 | 1997-08-13 | 松下電器産業株式会社 | 車両用衝突防止装置 |
JP2003151096A (ja) * | 2001-11-19 | 2003-05-23 | Honda Motor Co Ltd | 進入警報装置 |
JP2004193699A (ja) * | 2002-12-09 | 2004-07-08 | Daihatsu Motor Co Ltd | 車両用後側方監視装置及びその制御方法 |
KR20130005176A (ko) * | 2011-07-05 | 2013-01-15 | 현대자동차주식회사 | 후측방 차량 감지 장치 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4420011B2 (ja) * | 2006-11-16 | 2010-02-24 | 株式会社日立製作所 | 物体検知装置 |
EP3594853A3 (en) * | 2007-05-03 | 2020-04-08 | Sony Deutschland GmbH | Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device |
US8310353B2 (en) * | 2008-03-31 | 2012-11-13 | Honda Motor Co., Ltd. | Vehicle blind spot detection and indicator system |
KR101043450B1 (ko) * | 2009-07-31 | 2011-06-21 | 삼성전기주식회사 | 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법 |
US8633810B2 (en) * | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
JP5812598B2 (ja) * | 2010-12-06 | 2015-11-17 | 富士通テン株式会社 | 物体検出装置 |
US10071687B2 (en) * | 2011-11-28 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
EP2639781A1 (en) * | 2012-03-14 | 2013-09-18 | Honda Motor Co., Ltd. | Vehicle with improved traffic-object position detection |
DE102013101639A1 (de) * | 2013-02-19 | 2014-09-04 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands |
KR101565007B1 (ko) * | 2014-05-30 | 2015-11-02 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 이를 구비한 차량 |
KR101610038B1 (ko) * | 2014-06-13 | 2016-04-07 | 현대모비스 주식회사 | Avm 장치 및 동작 방법 |
US20160252610A1 (en) * | 2015-02-26 | 2016-09-01 | Delphi Technologies, Inc. | Blind-spot radar system with improved semi-trailer tracking |
KR102366402B1 (ko) * | 2015-05-21 | 2022-02-22 | 엘지전자 주식회사 | 운전자 보조 장치 및 그 제어방법 |
-
2015
- 2015-07-03 KR KR1020150095173A patent/KR101692628B1/ko active IP Right Grant
-
2016
- 2016-06-24 US US15/191,878 patent/US10553116B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2641562B2 (ja) * | 1989-04-28 | 1997-08-13 | 松下電器産業株式会社 | 車両用衝突防止装置 |
JP2003151096A (ja) * | 2001-11-19 | 2003-05-23 | Honda Motor Co Ltd | 進入警報装置 |
JP2004193699A (ja) * | 2002-12-09 | 2004-07-08 | Daihatsu Motor Co Ltd | 車両用後側方監視装置及びその制御方法 |
KR20130005176A (ko) * | 2011-07-05 | 2013-01-15 | 현대자동차주식회사 | 후측방 차량 감지 장치 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3056807A1 (fr) * | 2016-09-28 | 2018-03-30 | Valeo Schalter Und Sensoren Gmbh | Dispositif d'aide a la conduite d'un vehicule |
US10685241B2 (en) | 2016-11-07 | 2020-06-16 | Samsung Electronics Co., Ltd. | Method and apparatus for indicating lane |
US10668924B2 (en) | 2016-11-29 | 2020-06-02 | Samsung Electronics Co., Ltd. | Method and apparatus to control velocity of vehicle |
KR20180065585A (ko) * | 2016-12-08 | 2018-06-18 | 현대자동차주식회사 | 차량 및 그 제어방법 |
US10650529B2 (en) | 2017-08-09 | 2020-05-12 | Samsung Electronics Co., Ltd. | Lane detection method and apparatus |
KR101956689B1 (ko) * | 2017-10-16 | 2019-07-04 | 주식회사 만도 | 긴급차량 운행경로 생성기능을 갖는 자동 순항 제어장치 및 제어방법 |
US10775799B2 (en) | 2017-10-16 | 2020-09-15 | Mando Corporation | Autonomous cruise control apparatus and method |
KR20190123932A (ko) * | 2018-04-25 | 2019-11-04 | 주식회사 만도 | 후측방 경보 시스템 및 그 제어 방법 |
US10800432B2 (en) | 2018-04-25 | 2020-10-13 | Mando Corporation | Rear-side alert system and method of controlling same |
WO2020204350A3 (ko) * | 2019-04-01 | 2020-12-30 | 인천대학교 산학협력단 | 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법 |
CN112348894A (zh) * | 2020-11-03 | 2021-02-09 | 中冶赛迪重庆信息技术有限公司 | 废钢货车位置及状态识别方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
KR101692628B1 (ko) | 2017-01-04 |
US10553116B2 (en) | 2020-02-04 |
US20170132932A1 (en) | 2017-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101692628B1 (ko) | 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 | |
US10796171B2 (en) | Object recognition apparatus, object recognition method, and object recognition program | |
US9715830B2 (en) | Apparatus for assisting in lane change and operating method thereof | |
US10896310B2 (en) | Image processing device, image processing system, and image processing method | |
US10255813B2 (en) | Moving object collision warning system and method for large vehicle | |
JP5971341B2 (ja) | 物体検出装置及び運転支援装置 | |
EP2369552B1 (en) | Approaching object detection system | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
EP2575078B1 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
US20180075748A1 (en) | Pedestrian recognition apparatus and method | |
JP4692344B2 (ja) | 画像認識装置 | |
US20080309516A1 (en) | Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device | |
EP2833096B1 (en) | Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle | |
KR101103526B1 (ko) | 스테레오 카메라를 이용한 충돌회피 방법 | |
KR20160135482A (ko) | 동적 장애물 움직임 예측 장치 및 그 방법 | |
EP2741234B1 (en) | Object localization using vertical symmetry | |
KR20140004413A (ko) | 안전운전 지원 장치 및 방법 | |
KR20210070878A (ko) | 차량 주차를 보조하기 위한 시스템 및 방법 | |
KR101809088B1 (ko) | 전방 차량 추돌 알림 장치 및 방법 | |
JP2017167608A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
KR101748497B1 (ko) | 소리 정보에 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 시스템 | |
KR101730348B1 (ko) | 차량 속도를 이용한 지능형 운전자 보조 시스템의 제어 방법 | |
KR101636301B1 (ko) | 차량 충돌 방지 시스템 및 방법 | |
KR102448164B1 (ko) | 차량용 레이더 제어 장치 및 방법 | |
KR101543119B1 (ko) | 합성된 주행 영상 제공방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190923 Year of fee payment: 4 |