KR101955506B1 - 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법 - Google Patents

대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법 Download PDF

Info

Publication number
KR101955506B1
KR101955506B1 KR1020160168476A KR20160168476A KR101955506B1 KR 101955506 B1 KR101955506 B1 KR 101955506B1 KR 1020160168476 A KR1020160168476 A KR 1020160168476A KR 20160168476 A KR20160168476 A KR 20160168476A KR 101955506 B1 KR101955506 B1 KR 101955506B1
Authority
KR
South Korea
Prior art keywords
camera module
moving object
image
large vehicle
distance
Prior art date
Application number
KR1020160168476A
Other languages
English (en)
Other versions
KR20180067755A (ko
Inventor
박광일
임상묵
김진혁
Original Assignee
주식회사 피엘케이 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피엘케이 테크놀로지 filed Critical 주식회사 피엘케이 테크놀로지
Priority to KR1020160168476A priority Critical patent/KR101955506B1/ko
Priority to US15/414,924 priority patent/US10268908B2/en
Publication of KR20180067755A publication Critical patent/KR20180067755A/ko
Application granted granted Critical
Publication of KR101955506B1 publication Critical patent/KR101955506B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R2025/1013—Alarm systems characterised by the type of warning signal, e.g. visual, audible
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

본 발명은 대향 카메라를 이용하여 대형 차량의 측면 안전을 보조하는 장치 및 방법에 관한 것으로서, 본 발명의 대향 카메라를 이용한 대형 챠량의 측면 안전 보조 장치는, 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈; 상기 대형 차량의 적어도 일측면 전방에서 상기 후방 카메라 모듈을 대향하여 장착되며 상기 대형 차량의 후방을 지향하여 피촬상물을 촬상하는 전방 카메라 모듈; 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈에서 촬상된 영상을 입력 받아 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 판단하고, 판단된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 적어도 하나의 영상 인식 모듈; 상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및 상기 영상 인식 모듈에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부를 포함한다.
본 발명에 따르면, 대형 차량의 측방 전 범위에 걸쳐 자전거, 이륜차, 보행자 등의 이동 객체를 정확하게 식별할 수 있으며, 특히 대형 차량의 회전 시에 회전 반경 내에 위치한 이동 객체가 위험 구역 내에 위치하는 경우 운전자에게 이를 경고하거나 비상 제동을 실시하돌 함으로써, 대형 차량의 후방에서 발생되는 저속의 인명 피해 사고를 예방할 수 있는 효과가 있다.

Description

대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법{SIDE SAFETY ASSISTANT DEVICE AND METHOD FOR LARGE VEHICLE BY USING TWO OPPOSITE CAMERAS}
본 발명은 대형 차량의 측면에 설치되는 대향 카메라를 이용하여 측방에 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 식별하고 운전자에게 경고하거나 비상 제동을 실시하여 인명 사고를 방지할 수 있도록 하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법에 관한 것이다.
일반적으로, 어라운드 뷰 모니터링 시스템(AVMS: Around View Monitoring System)은 차량 주변에 복수의 카메라를 설치하고, 카메라에서 촬상된 영상을 인식하여 차량 주변의 장애물을 인식함으로써, 운전자의 사각지대에 위치한 장애물과의 충돌 위험을 예측하고 경보하는 시스템이다. 최근 들어 높은 가격의 고급 차량에 AVMS가 장착되고 있는 추세에 있다.
도 1은 대형 차량에 AVMS가 설치된 예를 보인 측면도로서, 스쿨버스에 전, 후, 좌, 우 4방위의 카메라가 설치된 예를 보여주고 있다. 도 1과 같이 대형 차량(100)의 상부 프레임에는 전방 카메라(140), 후방 카메라(150), 및 양 측방의 측방 카메라(160)가 설치된다. AVMS는 각 카메라에서 촬영된 영상을 운전자에게 디스플레이하며, 영상 인식 모듈에서 촬영된 영상으로부터 자전거, 이륜차, 보행자 등의 이동 객체를 식별한다.
그런데, 종래 대형 차량(100)은 차고가 상당히 높고, 도 1에서와 같이 카메라들이 차량의 상부 프레임에 설치되어 있어, 근접 거리의 피사체를 위에서 아래로 내려다 보이는 각도로 촬영하게 된다. 이로 인해 피사체의 형상을 인식하는 것이 어려워 유사한 형태를 구분하도록 데이터를 학습시키는 머신 러닝(machine learning) 기법을 적용하는 것이 어려운 문제점이 있으며, 역광으로 피사체를 촬영하는 경우가 많아 피사체와 그림자를 구분하는 것이 어려운 문제점이 있다. 따라서 대형 차량(100)에 근접해 있는 자전거, 이륜차, 보행자 등의 이동 객체를 식별하는 것이 곤란하다.
도 2는 대형 차량이 교차로에서 회전하는 경우를 예시한 평면도이다. 도시한 바와 같이, 대형 차량(100)이 우회전을 시도하는 경우 우측 후방에 자전거(200)가 나란하게 달리고 있다면, 운전자의 시야에 자전거(200)가 잘 들어오지 않을 수 있으며, 전술한 바와 같이 AVMS에서도 측방의 이동 객체를 식별하기 어렵다. 대형 차량(100)의 전장이 길기 때문에 앞바퀴에서는 자전거(200)와 충돌하지 않더라도 측면 프레임에 자전거(200)가 접촉되어 중심을 잃은 자전거(200)가 넘어지고, 대형 차량(100)의 회전 경로에서 뒷바퀴가 넘어진 자전거 탑승자를 타고 넘으면서 자전거 탑승자가 사망하거나 중상을 입는 경우가 가끔 발생된다.
이와 같은 유형의 사고는 흔하지 않지만, 대형 차량의 특성에서 유발되는 저속에서 인명 피해가 높은 사고의 유형이다. 대형 차량이 보행통로 측으로 회전하는 경우 차량의 진행속도는 느리지만, 상대적으로 크기가 작고 더욱 느리게 움직이는 자전거, 이륜차, 보행자 등을 식별하지 못하여 발생하는 사고로서, 위험구역(300)이 도 2에서와 같이 차량의 전방 측부에서는 넓게 형성되고 후방 측부에서는 좁게 형성되는 긴 삼각형 모양으로 형성되는 특징이 있으며, 사고 발생 시에 사망 빈도가 높은 매우 위험한 사고라는 점에서 반드시 예방할 필요가 있다.
위와 같은 문제를 방지하기 위하여, 종래 대형 차량의 안전 보조 장치에서는 도 3에서와 같이 차량의 전방 측면에 SRR(110)을 장착하여, 측후방의 자전거(200)와 같은 이동 객체를 감시하는 장치를 제시한 바 있다. 도 2를 참조하면, SRR(Short Range Radar)은 측정거리가 짧지만 측정각도는 넓은 감시구역(120)을 가지므로, 보조석(또는 운전석)의 측후방을 감시하는 영역을 넓힐 수 있다. 하지만, 도 1에서 살펴본 바와 같은 위험구역(300) 전체를 커버하지 못하여 자전거(200) 등의 이동 객체가 감시구역(120)을 벗어나 위치하는 경우 여전히 이동 객체를 감시할 수 없는 문제가 있다. 또한, 트레일러와 같은 대형 차량은 후방 짐칸이 전부 금속 재질이므로, 레이더를 차량의 측후방에 설치하는 경우 전파 간섭 등에 의해 크기가 작은 자전거를 검출하는 것이 어려운 문제가 있다.
한편, 대한민국 공개특허 제10-2016-0045857호는 3D 카메라와 레이더를 이용하여 물체를 검출하는 기술을 개시하고 있는데, 동 선행문헌에 개시된 3D 카메라 및 레이더의 설치 위치, 물체의 검출 방법 등에 의하여도 대형 차량의 회전 반경 내에 위치한 자전거, 이륜차, 보행자 등을 검출하는 것이 곤란하므로, 상술한 문제점들이 여전히 존재한다.
대한민국 공개특허 제10-2016-0045857호
본 발명은 대형 차량의 측면 전후방에 서로 대향하는 카메라를 설치하고, 대향 카메라에서 촬영된 영상으로부터 대형 차량 측방의 자전거, 이륜차, 보행자 등의 이동 객체를 검출함으로써, 대형 차량의 측면에 위치하는 이동 객체를 머신 러닝(machine learning) 기법으로 정확하게 식별할 수 있으며, 특히 대형 차량의 회전 시에 회전 반경 내에 위치한 이동 객체에 대하여 발생하는 저속의 인명 피해 사고를 획기적으로 줄일 수 있는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법을 제공함에 그 목적이 있다.
본 발명의 일실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈; 상기 대형 차량의 적어도 일측면 전방에서 상기 후방 카메라 모듈을 대향하여 장착되며 상기 대형 차량의 후방을 지향하여 피촬상물을 촬상하는 전방 카메라 모듈; 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈에서 촬상된 영상을 입력 받아 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 판단하고, 판단된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 적어도 하나의 영상 인식 모듈; 상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및 상기 영상 인식 모듈에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부를 포함한다.
본 발명의 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 영상 인식 모듈은 상기 후방 카메라 모듈로부터 입력되는 영상과 상기 전방 카메라 모듈로부터 입력되는 영상을 소정 처리 시간 내에 교호로 인식하여 처리한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 영상 인식 모듈은, 상기 후방 카메라 모듈로부터 영상을 입력받아 상기 충돌 위험신호를 출력하는 제1 영상 인식 모듈; 및 상기 전방 카메라 모듈로부터 영상을 입력받아 상기 충돌 위험신호를 출력하는 제2 영상 인식 모듈을 포함하며, 상기 제어부는 상기 제1 영상 인식 모듈 또는 상기 제2 영상 인식 모듈로부터 상기 충돌 위험신호가 출력되면 상기 경고부를 동작시킨다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 영상 인식 모듈은 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 상기 제1 충돌 위험신호가 출력되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되는 경우 제2 충돌 위험신호를 출력한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 제어부는 상기 제1 충돌 위험신호에 대응하여 상기 경고부의 시각적 경고 수단을 동작시키며, 상기 제2 충돌 위험신호에 대응하여 상기 경고부의 청각적 경고 수단을 동작시킨다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 대형 차량을 비상 제동시키는 비상 제동부를 더 포함하며, 상기 제어부는 상기 제2 충돌 위험신호에 대응하여 상기 비상 제동부를 동작시킨다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 영상 인식 모듈의 출력 결과를 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈에서 촬영된 영상과 함께 화면 출력하는 표시부를 더 포함한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 영상 인식 모듈에서 출력되는 상기 충돌 위험신호를 근거리 무선 통신 또는 원거리 무선 통신 방식으로 전송하는 통신부를 더 포함한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 영상 인식 모듈은 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈로부터 영상을 입력 받는 영상 입력부; 상기 영상 입력부로 입력 받은 영상으로부터 객체를 추출하고, 추출된 객체가 상기 이동 객체인지를 판단하고, 상기 이동 객체가 상기 위험 구역 내에 위치하는지를 판단하는 로직을 처리하는 프로세서; 상기 영상 입력부로 입력 받은 영상과 상기 프로세서에서 처리된 중간 산출 데이터를 저장하는 휘발성 메모리 수단; 및 상기 프로세서에서 처리되는 로직에 의한 영상 인식 파라미터를 저장하는 비휘발성 메모리 수단을 포함한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 프로세서에서 처리되는 로직은, 상기 영상 입력부로 입력 받은 영상에서 적어도 하나의 객체를 추출하는 객체 추출 모듈; 상기 객체 추출 모듈에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 이동 객체 후보 검출 모듈; 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 이동성 결정 모듈; 상기 이동성 결정 모듈에서 상기 이동 객체 후보가 이동 중인 상태로 판단하면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상이면 상기 이동 객체 후보를 이동 객체로 결정하는 이동 객체 가능성 결정 모듈; 및 판단된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정 모듈을 포함한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 이동 객체 후보 검출 모듈은 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 기 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 이동성 결정 모듈은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.
(수학식 1)
Figure 112016121456370-pat00001
여기서,
Figure 112016121456370-pat00002
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
Figure 112016121456370-pat00003
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 이동 객체 충돌 가능성 결정 모듈은 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈 또는 상기 전방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure 112016121456370-pat00004
여기서,
Figure 112016121456370-pat00005
는 후방 카메라 모듈 또는 전방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure 112016121456370-pat00006
는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
Figure 112016121456370-pat00007
는 후방 카메라 모듈 또는 전방 카메라 모듈의 지면에 대한 높이,
Figure 112016121456370-pat00008
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 이동 객체 충돌 가능성 결정 모듈은 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 4)
Figure 112016121456370-pat00009
여기서,
Figure 112016121456370-pat00010
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure 112016121456370-pat00011
는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
Figure 112016121456370-pat00012
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
Figure 112016121456370-pat00013
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치는, 상기 이동 객체 충돌 가능성 결정 모듈은 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈 또는 상기 전방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure 112016121456370-pat00014
(수학식 4)
Figure 112016121456370-pat00015
여기서,
Figure 112016121456370-pat00016
는 후방 카메라 모듈 또는 전방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure 112016121456370-pat00017
는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
Figure 112016121456370-pat00018
는 후방 카메라 모듈 또는 전방 카메라 모듈의 지면에 대한 높이,
Figure 112016121456370-pat00019
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,
Figure 112016121456370-pat00020
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure 112016121456370-pat00021
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
본 발명의 일실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈과, 상기 대형 차량의 적어도 일측면 전방에서 상기 후방 카메라 모듈을 대향하여 장착되며 상기 대형 차량의 후방을 지향하여 피촬상물을 촬상하는 전방 카메라 모듈을 이용하여 대형 차량의 측방의 위험 구역을 감시하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법으로서, (a) 상기 후방 카메라 및 상기 전방 카메라로부터 영상을 입력받는 단계; (b) 상기 단계(a)에서 입력된 영상 내에 포함된 객체를 추출하는 단계; (c) 상기 단계(b)에서 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 결정하는 단계; (d) 상기 단계(c)에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 생성하는 단계; 및 (e) 상기 충돌 위험신호에 대응하여 시각적 또는 청각적 경고신호를 출력하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(d)는, (d-1) 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하는 단계; 및 (d-2) 상기 단계(d-1)의 조건이 만족되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되면 제2 충돌 위험신호를 출력하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(e)는 상기 제1 충돌 위험신호에 대응하여 시각적 경고신호를 출력하며, 상기 제2 충돌 위험신호에 대응하여 청각적 경고신호를 출력한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(e) 이후에 상기 제2 충돌 위험신호에 대응하여 상기 대형 차량을 비상 제동시키는 단계를 더 포함한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(c)는, (c-1) 영상에서 적어도 하나의 객체를 추출하는 단계; (c-2) 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 단계; (c-3) 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈 각각에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 단계; 및 (c-4) 상기 단계(c-3)에서 상기 이동 객체 후보가 이동 중인 상태로 판단되면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상일 때 상기 이동 객체 후보를 이동 객체로 결정하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(c-2)는 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 기 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출한다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(c-3)은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.
(수학식 1)
Figure 112016121456370-pat00022
여기서,
Figure 112016121456370-pat00023
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
Figure 112016121456370-pat00024
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(d)는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈 또는 상기 전방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure 112016121456370-pat00025
여기서,
Figure 112016121456370-pat00026
는 후방 카메라 모듈 또는 전방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure 112016121456370-pat00027
는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
Figure 112016121456370-pat00028
는 후방 카메라 모듈 또는 전방 카메라 모듈의 지면에 대한 높이,
Figure 112016121456370-pat00029
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(d)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 4)
Figure 112016121456370-pat00030
여기서,
Figure 112016121456370-pat00031
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure 112016121456370-pat00032
는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
Figure 112016121456370-pat00033
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
Figure 112016121456370-pat00034
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법은, 상기 단계(d)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈 또는 상기 전방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure 112016121456370-pat00035
(수학식 4)
Figure 112016121456370-pat00036
여기서,
Figure 112016121456370-pat00037
는 후방 카메라 모듈 또는 전방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure 112016121456370-pat00038
는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
Figure 112016121456370-pat00039
는 후방 카메라 모듈 또는 전방 카메라 모듈의 지면에 대한 높이,
Figure 112016121456370-pat00040
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,
Figure 112016121456370-pat00041
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure 112016121456370-pat00042
는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
본 발명의 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법에 따르면, 대형 차량의 측방 전 범위에 걸쳐 자전거, 이륜차, 보행자 등의 이동 객체를 정확하게 식별할 수 있으며, 특히 대형 차량의 회전 시에 회전 반경 내에 위치한 이동 객체가 위험 구역 내에 위치하는 경우 운전자에게 이를 경고하거나 비상 제동을 실시하돌 함으로써, 대형 차량의 후방에서 발생되는 저속의 인명 피해 사고를 예방할 수 있는 효과가 있다.
도 1은 종래 대형 차량에 AVMS가 설치된 예를 보인 측면도,
도 2는 종래 대형 차량의 회전 예를 보인 평면도,
도 3은 종래 대형 차량에 SRR이 장착된 예를 보인 평면도,
도 4는 본 발명에 따라 대형 차량에 대향 카메라가 설치된 예를 보인 도면,
도 5는 본 발명에 따른 측면 안전 보조 장치의 일실시예를 보인 블록도,
도 6은 본 발명에 따른 측면 안전 보조 장치의 다른 실시예를 보인 블록도,
도 7은 본 발명에서 영상 인식 모듈의 구성을 예시한 블록도,
도 8은 본 발명에서 영상 인식 모듈의 로직 구성을 예시한 블록도,
도 9는 본 발명에 따른 측면 안전 보조 방법을 예시한 흐름도,
도 10은 본 발명에서 후방 카메라 모듈에 의해 촬상된 영상을 예시한 도면,
도 11은 실제 좌표계와 카메라 뷰포트 좌표계의 상관관계를 예시한 도면, 및
도 12는 도 10의 영상을 기준으로 자전거의 충돌 가능성을 판단하는 과정을 예시한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.
명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.
실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
본 발명은 대형 차량의 측면 전후방에 서로 대향하도록 설치되는 카메라를 이용하여 대형 차량의 측방에 위치하는 이동 객체를 정확하게 식별하고 이동 객체와의 충돌 가능성을 판단하여 경고하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법에 관한 것이다. 이하에서 '대형 차량'이라 함은 화물 트럭, 트레일러, 버스, 중장비 등과 같은 대형 차량을 의미하며, '이동 객체'라 함은 자전거, 이륜차, 보행자 등의 이동하는 객체를 의미한다. 이하에서는 대형 차량으로서 화물 트럭을 예시하여 설명하며, 이동 객체로서 자전거 및 보행자를 예를 들어 설명하기로 한다.
도 4는 본 발명에 따라 대형 차량에 대향 카메라가 설치된 예를 보인 도면으로, 도 4의 상부에는 대형 차량의 측면도를, 하부에는 대형 차량의 평면도를 예시한 것이다.
도 4를 참조하면, 대형 차량(100)의 적어도 일측면 후방에는 후방 카메라 모듈(500a)이 장착되며, 적어도 일측면 전방에는 후방 카메라 모듈(500a)과 마주보도록 전방 카메라 모듈(500b)이 장착된다. 후방 카메라 모듈(500a)은 대형 차량(100)의 측면 전방을 지향하여 피촬상물을 촬상하며, 전방 카메라 모듈(500b)은 대형 차량(100)의 측면 후방을 지향하여 피촬상물을 촬상한다.
후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)은 지면(400)으로부터 1m 내지 1.5m의 설치고를 가진다. 도 4의 상부에서 점선으로 묘사한 것과 같이, 후방 카메라 모듈(500a)은 대형 차량(100)의 전방으로 갈수록 점점 넓어지는 후방 카메라 모듈 촬상영역(505a)을 가진다. 전방 카메라 모듈(500b)은 대형 차량(100)의 후방으로 갈수록 점점 넓어지는 전방 카메라 모듈 촬상영역(505b)을 가진다.
도 4의 예시에서, 대형 차량(100)의 보조석 측면에 자전거(200a)가 위치해 있는 경우, 전방 카메라 모듈 촬상영역(505b)에는 자전거(200a)의 일부가 걸쳐 있게 되어 전방 카메라 모듈(500b)로 자전거(200a)의 전체 모습을 촬영하는 것이 어려울 수 있다. 하지만, 후방 카메라 모듈 촬상영역(505a)에는 자전거(200a)의 전체가 포함되므로, 후방 카메라 모듈(500a)로 자전거(200a)의 전체 모습을 촬영할 수 있게 된다. 이와 마찬가지로, 도 4의 예시에서 대형 차량(100)의 후방 측면에 보행자(200b)가 위치해 있는 경우, 전방 카메라 모듈(500b)을 이용하여 측후방의 보행자(200b)의 전체 모습을 영상에 담을 수 있다.
즉, 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)은 대형 차량(100)의 측면에서 상보적인 촬상영역을 가지게 되므로, 측면 전체 영역을 감시할 수 있게 된다.
여기서, 도 4에서 묘사한 바와 같이 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)이 위에서 아래로 지향하여 피촬상물을 촬상하는 것이 아니라, 후방에서 전방을 지향하여, 그리고, 전방에서 후방을 지향하여 피촬상물을 촬상하게 되므로 이동 객체의 형태적 특징이 포함되도록 영상을 얻을 수 있게 된다. 따라서 이하에서 후술하는 바와 같이 머신 러닝(machine learning) 기법을 이용하여 영상을 인식함으로써 이동 객체를 식별할 수 있게 된다.
한편, 도 4의 예시에서는 대형 차량(100)의 우측면에 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)이 장착된 것을 예시하였으나, 서로 대향하는 카메라 모듈은 대형 차량(100)의 좌측면에 설치될 수도 있다. 예를 들어, 국내의 교통 환경에서는 대형 차량(100)이 보행 통로 측으로 우회전을 하며 교차로에서 좌회전을 하게 된다. 이러한 교통 환경에서는, 비교적 고속으로 회전하는 좌회전 구간에서는 좌측방에 이동 객체가 위치하는 경우가 적지만, 저속으로 회전하는 우회전 구간에서는 우측방에, 즉, 보행 통로 측에 이동 객체가 위치하는 경우가 많다. 즉, 국내의 교통 환경에서는 대형 차량(100)이 우회전 하는 경우 이동 개체를 식별하기 위해 대향 카메라 모듈이 대형 차량(100)의 우측면에 설치되는 것이 바람직하며, 외국의 다른 교통 환경에서는 대향 카메라 모듈이 대형 차량(100)의 좌측면에 설치되는 것이 바람직하다. 하지만, 위의 실시예에 국한되는 것은 아니며, 대향 카메라 모듈은 대형 차량(100)의 양측면에 모두 설치될 수도 있다.
도 5 및 6은 본 발명에 따른 대형 차량의 측면 안전 보조 장치를 예시한 블록도이다. 도 5는 단일의 영상 인식 모듈(510)로 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)의 영상을 인식하여 처리하는 예를 보인 것이며, 도 6은 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)에 각각 전용의 영상 인식 모듈(510a, 510b)이 설치된 예를 보인 것이다.
먼저, 도 5를 참조하면 본 발명에 따른 대형 차량의 측면 안전 보조 장치는 후방 카메라 모듈(500a)과, 전방 카메라 모듈(500b)과, 영상 인식 모듈(510)과, 제어부(520)와, 통신부(530)와, 표시부(540)와, 경고부(550)와, 비상 제동부(560)로 구성된다. 이러한 측면 안전 보조 장치는 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 포함될 수 있다. 이 경우 각 구성들은 이하에서 설명되는 기능 이외에 ADAS가 갖는 기본적인 기능들을 함께 구현할 것이다. 한편, 본 발명의 측면 안전 보조 장치는 ADAS와 독립적으로 구성되어, 대형 차량(100)의 측방에 위치한 이동 객체를 식별하고 경고하는 장치로 이용될 수도 있다.
영상 인식 모듈(510)은 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)로부터 영상을 입력 받아 영상 내에 포함된 객체를 추출하고, 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 판단하고, 판단된 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 확인하여 충돌 위험신호를 출력한다.
도 5에서와 같이 대향 카메라 모듈(500a, 500b)에 대하여 하나의 영상 인식 모듈(500)을 이용하는 경우, 영상 인식 모듈(500)은 후방 카메라 모듈(500a)로부터 입력되는 영상과 전방 카메라 모듈(500b)로부터 입력되는 영상을 소정 시간 내에 교호로 인식하여 처리할 수 있다.
도 6에서와 같이 후방 카메라 모듈(500a)에 대하여 제1 영상 인식 모듈(510a)이 설치되고, 전방 카메라 모듈(500b)에 대하여 제2 영상 인식 모듈(510b)이 설치되는 경우, 각각의 영상 인식 모듈(510a, 510b)은 대응하는 카메라 모듈로부터의 신호를 전용으로 인식하여 처리할 수 있다.
제어부(520)는 영상 인식 모듈(510)로부터 영상 인식 결과를 받아 통신부(530), 표시부(540), 경고부(550), 및 비상 제동부(560)의 동작을 제어한다. 제어부(520)는 마이크로프로세서와 같은 중앙처리장치를 포함할 수 있다.
통신부(530)는 Bluetooth, Wi-Fi 등의 근거리 무선 통신 모듈이나, CDMA(Code Division Multiple Access), LTE(Long Term Evolution) 등의 광대역 이동 통신 모듈, 또는, 근거리 무선 통신 모듈 및 광대역 이동 통신 모듈의 조합으로 구성될 수 있다. 통신부(530)는 차량과 사물 간의 통신 시스템(V2X, Vehicle to Everything Communication System)을 통해 영상 인식 모듈(510)의 인식 결과를 주변 통신 수단으로 전송할 수 있다. 예를 들어, V2I(Vehicle to Infra) 통신망을 통해 교통신호 제어기 등의 인프라 수단으로 이동 객체에 대한 충돌 위험 신호를 전달할 수 있다. 다른 예로서, V2V(Vehicle to Vehicle) 또는 V2P(Vehicle to Pedestrian) 통신망을 통해 인접 차량 또는 보행자의 이동 단말에 충돌 위험 신호를 전달할 수 있다. 이와 같이 V2X 통신 시스템을 통해 대형 차량 측방의 이동 객체 존부 및 충돌 위험 신호를 주변 장치에 알림으로써, 인명 사고의 확장을 방지할 수 있다.
표시부(540)는 차량 내에 설치되는 디스플레이 수단으로서, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode), LED 어레이 등으로 구성될 수 있다. 표시부(540)는 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)에서 촬영된 영상과 함께 영상 인식 모듈(510)의 출력 결과를 화면으로 출력한다. 예컨대, 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)에서 촬영된 영상에 이동 객체에 대한 충돌 위험성을 그래픽 처리하여 오버레이하는 것으로 대형 차량(100)의 측방 영상 및 이동 객체에 대한 충돌 위험성을 표시할 수 있다.
경고부(550)는 대형 차량(100)의 운전자에게 시각적 또는 청각적 경고 신호를 출력한다. 예를 들어, 경고부(550)는 운전자에게 표시되는 디스플레이 상에서 이동 객체의 존재 여부를 그래픽으로 표시하거나, 별도로 설치된 경고용 LED를 점멸 표시하는 것으로 이동 객체에 대한 위험성을 알릴 수 있다. 다른 예로서, 경고부(550)는 스피커를 통해 이동 객체의 존재 여부를 음성 메시지로 출력할 수도 있다. 또 다른 예로서, 경광등을 점등시키거나 부저를 울려 운전자에게 경고 상태를 알릴 수도 있다.
여기서, 영상 인식 모듈(510)은 이동 객체가 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 제1 충돌 위험신호가 출력되는 상황에서 대형 차량(100)의 스티어링 휠의 조향각 변화를 감지하는 경우 제2 충돌 위험신호를 출력하는 2단의 충돌 위험신호를 발생시킬 수 있다.
제어부(520)는 제1 충돌 위험신호가 발생하는 경우 경고부(550)의 시각적 경고 수단을 동작시켜, 차량 주변에 자전거(200a)나 보행자(200b) 등의 이동 객체가 존재하는 상태임을 알릴 수 있다. 예를 들어, LED를 점멸시켜 충돌 위험 상태를 지시하거나, 표시부(540)의 디스플레이 화면상에 자전거를 그래픽으로 보여주는 것으로 충돌 위험 상태를 표시하여 운전자의 주의를 환기시킬 수 있다.
제어부(520)는 제2 충돌 위험신호가 발생하는 경우 경고부(550)의 청각적 경고수단을 동작시켜, 충돌 위험을 더 적극적으로 알릴 수 있다. 예를 들어, 스피커를 통해 회전 반경 내에 자전거(200a)가 위치하고 있다는 음성 메시지 또는 "자전거 충돌 위험" 등의 음성 메시지를 출력할 수 있으며, 부저를 울려 긴급한 위험 상태를 알릴 수 있다.
나아가, 제어부(520)는 제2 충돌 위험신호가 발생하는 경우 비상 제동부(560)를 동작시켜, 차량을 비상 제동시킬 수 있다. 여기서, 비상 제동부(560)는 운전자의 브레이크 조작이 없어도 차량을 자율적으로 비상 제동시키는 수단이다. 제어부(520)는 제2 충돌 위험신호에 대응하여 곧바로 차량을 비상 제동시키거나, 제2 충돌 위험신호 이후에도 운전자의 브레이크 조작이 없는 상태임을 검출하여 비상 제동부(560)를 동작시킴으로써, 운전자가 충돌 위험 표시를 인지하지 못하는 경우에도 이동 객체에 대한 충돌을 방지하도록 차량을 강제 정지킬 수 있다.
도 7은 본 발명에서 영상 인식 모듈의 구성을 예시한 블록도이다. 도 7을 참조하면, 영상 인식 모듈(510)(또는 제1 영상 인식 모듈(510a) 및 제2 영상 인식 모듈(510b))은 영상 입력부(512)와, 프로세서(514)와, 휘발성 메모리 수단(516)과, 비휘발성 메모리 수단(518)으로 구성된다.
영상 입력부(512)는 후방 카메라 모듈(500a) 및 전방 카메라 모듈(500b)에서 촬영된 영상을 입력받는다.
프로세서(514)는 입력된 영상을 적절하게 처리하여 프레임 단위로 구분하고, 각 영상 프레임을 휘발성 메모리 수단(516)에 저장한다. 그리고 각 영상 프레임으로부터 객체를 추출하고, 추출된 객체가 이동 객체인지를 판단하고, 이동 객체가 위험 구역 내에 위치하는지를 판단하는 로직을 처리한다. 프로세서(514)에서 처리되는 로직은 도 8을 참조하여 후술한다.
휘발성 메모리 수단(516)은 전기가 공급되는 동안에만 저장된 정보를 유지하는 임시 메모리로서, 예컨대 DRAM(Dynamic Random Access Memory)으로 구성된다. 물론 휘발성 메모리 수단(516)은 SRAM(Static Random Access Memory)와 같은 다른 휘발성 메모리로 대체될 수도 있다. 휘발성 메모리 수단(516)은 영상 입력부(512)로 입력된 영상과 프로세서(514)에서 처리된 중간 산출 데이터를 저장한다.
비휘발성 메모리 수단(518)은 전원이 끊어져도 저장된 정보를 유지하는 메모리로서, 예컨대 Flash Memory, EEPROM(Electrically Erasable Programmable Read-Only Memory), FeRAM(Ferroelectric Random Access Memory), MRAM(Magnetic Random Access Memory), PCRAM(Phase-Change Random Access Memory) 등으로 구성될 수 있다. 비휘발성 메모리 수단(518)은 프로세서(514)에서 처리되는 로직에 의한 영상 인식 파라미터를 저장한다.
도 8은 본 발명에서 영상 인식 모듈의 로직 구성을 예시한 블록도이다. 도 8을 참조하면, 영상 인식 모듈(510)의 프로세서(514)에서 처리되는 로직은 객체 추출 모듈(572)과, 이동 객체 후보 검출 모듈(574)과, 이동성 결정 모듈(576)과, 이동 객체 가능성 결정 모듈(578)과, 이동 객체 충돌 가능성 결정 모듈(580)로 구성된다.
객체 추출 모듈(572)은 입력된 영상에서 적어도 하나의 객체를 추출한다. 여기서, '객체'는 영상 프레임 내에 존재하는 동적 객체(예를 들어, 자전거, 이륜차, 보행자 등과 같은)와 정적 객체(예를 들어, 나무, 진입 방지용 볼라드, 신호등 등과 같은)를 모두 포함한다. 객체 추출 모듈(572)은 영상 프레임 내에서 에지를 검출하거나 배경과 객체 간의 색상 차이에 근거하여 객체를 추출할 수 있다. 예를 들어, 영상 프레임 내의 각 픽셀들의 값을 계산하고, 유사한 픽셀 값을 갖는 픽셀들을 그룹화 하여 하나의 객체로서 추출할 수 있다.
객체 추출 모듈(572)에서 객체를 추출하는 과정에서 캐니(Canny) 에지 검출 알고리즘, 라인(Line) 에지 검출 알고리즘, 라플라시안(Laplacian) 에지 검출 알고리즘 등이 사용될 수 있으며, 이러한 알고리즘을 이용하여 경계선을 검출하고 검출된 경계선을 기초로 배경과 구분되는 영역을 그룹화 하여 객체를 추출할 수 있다.
이동 객체 후보 검출 모듈(574) 객체 추출 모듈(572)에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출한다. 여기서, 이동 객체의 특정 특징과 대응되는 특징을 객체로부터 추출하고, 추출된 객체를 미리 저장된 이동 객체의 패턴과 비교하여 이동 객체와 무관한 객체(예컨대, 정적 객체)를 미리 제거할 수 있다.
예를 들어, 자전거(200a)의 하부 바퀴 모양과 상부에 탑승자의 형태를 패턴으로 저장하고, 객체 추출 모듈(572)에서 추출된 객체와 자전거(200a)의 패턴 간에 유사도를 판단하여 이동 객체 후보를 검출할 수 있다. 다른 예로서, 추출된 객체가 기 저장된 보행자(200b)의 패턴(수직 성분 중 두 개로 갈라지기 시작하는 지점의 수평선을 기준으로 하여, 수평선부다 위쪽을 상단부 아래쪽을 하단부로 정의하고, 상단부의 길이가 하단부 길이의 60% 내지 140%에 포함되고, 하단부가 수평선으로부터 두 개로 갈리진 유형의 패턴)과 유사할 경우, 이동 객체 후보로 검출할 수도 있다.
이동성 결정 모듈(576)은 후방 카메라 모듈(500a) 또는 전방 카메라 모듈(500b)에서 촬상된 영상의 현재 프레임과 현재 프레임 이전 시점의 이전 프레임을 비교하여 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.
구체적으로, 이동성 결정 모듈(576)은 현재 프레임과 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 현재 프레임에서 이동 객체 후보가 포함된 블록과 이전 프레임에서 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출한다. 픽셀값 차이의 합이 가장 작은 블록을 이전 프레임의 대응 블록으로 결정하고, 대응 블록의 위치가 변경되면 이동 객체 후보를 이동 중인 상태로 판단한다.
(수학식 1)
Figure 112016121456370-pat00043
여기서,
Figure 112016121456370-pat00044
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
Figure 112016121456370-pat00045
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
이동성 결정 모듈(576)은 최초에 대응되는 위치의 블록 간 SAD 값을 산출한 후, k번째 영상 프레임의 특정 블록(이동 객체 후보가 포함되어 있는 블록 또는 블록들)과 k-1번째 영상 프레임의 특정 블록의 위치를 바꿔가면서 SAD 값을 산출한다. 그리고 k-1번째 영상 프레임에서 가장 작은 SAD 값을 갖는 블록(또는 블록들)을 k번째 영상 프레임의 특정 블록에 대응되는 대응 블록으로 결정할 수 있다.
k-1번째 영상 프레임의 대응 블록이 결정되고 나면, k번째 영상 프레임의 특정 블록의 위치에 대하여 k-1번째 영상 프레임의 대응 블록의 위치가 변경되었는지 여부에 근거하여 이동 객체 후보의 이동을 판단한다. 여기서, 이전 시점의 영상 프레임은 k-1번째에 국한되는 것이 아니며, 10 프레임 이전의 k-10번째 영상 프레임이 이전 시점의 영상 프레임으로 이용될 수도 있다.
이동 객체 가능성 결정 모듈(578)은 이동성 결정 모듈(576)에서 이동 객체 후보가 이동 중인 상태로 판단하면, 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상일 경우 이동 객체 후보를 이동 객체로 결정한다.
HOG 연산은 에지의 방향을 히스토그램으로 나타낸 것으로서, 객체의 형태 변화가 심하지 않고 내부 패턴이 단순하며, 객체의 윤곽선으로 객체를 식별할 수 있는 경우에 사용될 수 있다.
예를 들어, 이동 객체 가능성 결정 모듈(578)은 8픽셀*8픽셀의 단위 크기를 갖는 셀 단위로 HOG 연산을 수행하여 에지의 방향을 산출한다. 셀 내에서 에지의 방향을 8개의 각도로 표준화 하고, 각 방향에 대한 히스토그램으로 표현한다. 복수의 셀이 조합된 블록에 대하여 정규화(각 셀에 대한 에지의 방향 값을 블록에 대한 평균값으로 수치화 하는 과정)를 하고, 정규화 값을 나열하여 기술자 벡터(Descriptor Vector)를 산출한다. 그리고 산출된 기술자 벡터에 SVM 가중치 연산을 수행하고, SVM 가중치 연산으로부터 산출된 값이 기 설정된 임계값 이상일 경우 이동 객체 후보를 이동 객체로 결정한다. SVM 가중치 연산을 수행하는 과정은 당해 분야에서 통상의 지식을 가진 자에게 자명하므로, 구체적인 설명은 생략한다.
이동 객체 충돌 가능성 결정 모듈(580)은 이동 객체 가능성 결정 모듈(578)에서 결정된 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하고, 판단 결과에 따라 충돌 위험신호를 출력한다.
도 9는 본 발명에 따른 측면 안전 보조 방법을 예시한 흐름도이다. 도 9를 참조하면, 영상 입력부(512)를 통해 입력된 영상으로부터 객체를 추출하는 것으로 단계가 시작된다(ST910). 설명한 바와 같이, 수신된 각 영상 프레임으로부터 동적 객체 및 정적 객체를 추출한다.
다음으로, 이동 객체 후보 검출 모듈(574)이 추출된 객체에 대하여 앞서 설명한 바와 같이 이동 객체 후보를 검출한다(ST920).
이동 객체 후보가 검출되면, 이동성 결정 모듈(576)이 전술한 바와 같이 이동 객체 후보와 미리 정의된 자전거, 이륜차, 및 보행자 각각에 대한 패턴 간에 유사도를 판단하여 이동 객체 후보에 대한 이동성을 결정한다(ST930). 이동 객체 가능성 결정 모듈(578)은 이동 중인 것으로 판단된 이동 객체 후보에 대하여 HOG 연산 및 SVM 가중치 연산을 통해 최종적으로 이동 객체를 결정한다(ST940).
다음으로, 이동 객체 충돌 가능성 결정 모듈(580)은 이동 객체에 대한 충돌 가능성을 결정한다(ST950). 이동 객체 충돌 가능성을 결정하고, 경고부(550)를 동작시키거나 비상 제동부(560)를 동작시키는 과정은 도 10 내지 12를 참조하여 후술한다.
도 10은 본 발명에서 후방 카메라 모듈에 의해 촬상된 영상을 예시한 도면이다. 이하의 예시에서는 후방 카메라 모듈(500a)에서 촬상된 자전거(200a)를 예로 들어 이동 객체의 충돌 가능성을 결정하고 충돌 위험신호를 발생시키는 과정을 설명하겠으며, 전방 카메라 모듈(500b)에서 이동 객체를 촬영하고 이동 객체의 충돌 가능성을 결정하고 충돌 위험신호를 발생시키는 과정 역시 후술하는 설명과 동일하게 이루어질 것이다.
앞서 도 4에서 묘사한 바와 같이 후방 카메라 모듈(500a)이 대형 차량(100)의 측면 후방에 장착되어 전방을 지향하여 촬상하고 있는 상태이므로, 도 10에서와 같이 뷰포트 상의 좌측에는 항상 대형 차량(100)의 측면 모습이 촬상된다. 원근감에 의해 차량의 앞쪽으로 갈수록 형상이 작게 상이 맺힐 것이다. 만약, 대형 차량(100)의 우측에 근접하여 자전거(200a)가 위치한다면, 도 10에서와 같이 대형 차량(100)의 우측에 자전거(200a)의 이미지가 표시될 것이다.
도 11은 실제 좌표계와 카메라 뷰포트 좌표계의 상관관계를 예시한 도면으로, 도 11에서와 같이 도로 상의 실제 좌표 지점(X, Z)은 렌즈(504)에서 굴절되어 카메라의 센서에 의해 검출되는 카메라 뷰포트(502) 상에서 (x,y)로 투영되어 나타날 것이다.
만약, 전방에 인식된 좌표 지점(X, Z)이 이동 객체의 윤곽점 하단부를 나타낸다면, 도로 상에서 후방 카메라 모듈(500a)과 전방에 인식된 좌표 지점(X, Z)간의 거리는 아래의 (수학식 2)에 의해 결정될 수 있다.
(수학식 2)
Figure 112016121456370-pat00046
여기서,
Figure 112016121456370-pat00047
는 후방 카메라과 이동 객체 간의 도로 상의 종방향 거리,
Figure 112016121456370-pat00048
는 후방 카메라 모듈의 초점 거리,
Figure 112016121456370-pat00049
는 후방 카메라 모듈의 지면에 대한 높이,
Figure 112016121456370-pat00050
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
좌표 지점(X, Z)의 X축 거리는 아래의 (수학식 3)에 의해 결정될 수 있다.
(수학식 3)
Figure 112016121456370-pat00051
여기서,
Figure 112016121456370-pat00052
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 횡방향 수평 거리,
Figure 112016121456370-pat00053
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객에의 윤곽점 하단부 간의 거리이다.
도 12는 도 10의 영상을 기준으로 자전거의 충돌 가능성을 판단하는 과정을 예시한 도면이다. 도 12를 참조하면, 도 10과 같은 전방 영상으로부터 대형 차량 윤곽라인(102)과 자전거 윤곽라인(202)을 얻을 수 있다. 여기서 촬상 화면상에서 원점(vanishing point)은 소실점을 의미하며, 소실점을 기준으로 하여 자전거의 윤곽점 하단부는 (x1, y1)의 좌표를 가지며, 자전거의 윤곽점 하단부에서 수평 방향으로 연장된 대형 트럭의 윤곽점은 (x2, y1)의 좌표를 갖게 된다.
즉, 대형 차량(100)과 자전거(200a) 간의 거리를 인식할 수 있게 된다. 만약 도로 상에서 대형 차량(100)과 자전거(200a) 간의 실제 거리를 'W'라고 한다면, 이 값은 아래의 (수학식 4)로부터 얻을 수 있다.
(수학식 4)
Figure 112016121456370-pat00054
여기서,
Figure 112016121456370-pat00055
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure 112016121456370-pat00056
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
이동 객체 충돌 가능성 결정 모듈(580)은 (수학식 2)에 의해 측정된 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리
Figure 112016121456370-pat00057
가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 상술한 제1 충돌 위험신호를 출력할 수 있다. 다른 예로서, 이동 객체 충돌 가능성 결정 모듈(580)은 (수학식 4)에 의해 측정된 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리
Figure 112016121456370-pat00058
가 미리 정의된 횡방향 위험거리 미만인 경우 상술한 제1 충돌 위험신호를 출력할 수 있다.
바람직하게는, 위의 두 가지 조건이 모두 만족하는 경우, 제1 충돌 위험신호를 출력한다. 그리고 제1 충돌 위험신호의 발생 이후에 소정 시간 내에 대형 차량의 스티어링 휠의 조향각 변화를 감지하는 경우 제2 충돌 위험신호를 출력할 수 있다.
전술한 바와 같이, 제어부(520)는 제1 충돌 위험신호가 발생하는 경우 경고부(550)의 시각적 경고 수단을 동작시켜, 차량 주변에 자전거(200a) 등의 이동 객체가 존재하는 상태임을 경고하거나, 표시부(540)를 통해 촬영된 영상 위에 이동 객체에 대한 충돌 위험성을 그래픽 처리하여 오버레이 표시하는 것으로 디스플레이 화면상으로 충돌 위험성을 알릴 수 있다. 또한, 제어부(520)는 제2 충돌 위험신호가 발생하는 경우 경광등과 같은 경고수단을 통해 시각적으로 적극적인 경고신호를 출력하거나 스피커나 부저를 통해 청각적인 경고신호를 발생시킬 수 있다. 또한, 제2 충돌 위험신호가 발생하는 상황에서는 저속의 충돌 사고에 의해서도 사망과 같은 치명적인 위험 상황이 초래될 수 있으므로, 비상 제동부(560)를 동작시켜 운전자의 브레이크 조작이 없는 경우라도 차량을 비상 제동시킴으로써, 인명 피해 사고를 미연에 방지할 수 있다.
위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.
100 : 대형 차량 102 : 대형 차량 윤곽라인
200a : 자전거 200b : 보행자
202 : 자전거 윤곽라인 400 : 지면
500a : 후방 카메라 모듈 500b : 전방 카메라 모듈
502 : 카메라 뷰포트 504 : 렌즈
505a : 후방 카메라 모듈 촬상영역
505b : 전방 카메라 모듈 촬상영역
510 : 영상 인식 모듈 510a : 제1 영상 인식 모듈
510b : 제2 영상 인식 모듈 512 : 영상 입력부
514 : 프로세서 516 : 휘발성 메모리 수단
518 : 비휘발성 메모리 수단 520 : 제어부
530 : 통신부 540 : 표시부
550 : 경고부 560 : 비상 제동부
572 : 객체 추출 모듈 574 : 이동 객체 후보 검출 모듈
576 : 이동성 결정 모듈 578 : 이동 객체 가능성 결정 모듈
580 : 이동 객체 충돌 가능성 결정 모듈

Claims (25)

  1. 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈;
    상기 대형 차량의 적어도 일측면 전방에서 상기 후방 카메라 모듈을 대향하여 장착되며 상기 대형 차량의 후방을 지향하여 피촬상물을 촬상하는 전방 카메라 모듈;
    상기 후방 카메라 모듈 및 상기 전방 카메라 모듈에서 촬상된 영상을 입력 받아 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 판단하는 이동 객체 가능성 결정 모듈과, 판단된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정 모듈을 포함하는 적어도 하나의 영상 인식 모듈;
    상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및
    상기 영상 인식 모듈에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부
    를 포함하며,
    상기 이동 객체 충돌 가능성 결정 모듈은 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
    (수학식 4)
    Figure 112018106074539-pat00113

    여기서,
    Figure 112018106074539-pat00114
    는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
    Figure 112018106074539-pat00115
    는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
    Figure 112018106074539-pat00116
    는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
    Figure 112018106074539-pat00117
    는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  2. 제1항에 있어서,
    상기 영상 인식 모듈은 상기 후방 카메라 모듈로부터 입력되는 영상과 상기 전방 카메라 모듈로부터 입력되는 영상을 소정 처리 시간 내에 교호로 인식하여 처리하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  3. 제1항에 있어서,
    상기 영상 인식 모듈은,
    상기 후방 카메라 모듈로부터 영상을 입력받아 상기 충돌 위험신호를 출력하는 제1 영상 인식 모듈; 및
    상기 전방 카메라 모듈로부터 영상을 입력받아 상기 충돌 위험신호를 출력하는 제2 영상 인식 모듈을 포함하며,
    상기 제어부는 상기 제1 영상 인식 모듈 또는 상기 제2 영상 인식 모듈로부터 상기 충돌 위험신호가 출력되면 상기 경고부를 동작시키는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  4. 제1항에 있어서,
    상기 영상 인식 모듈은 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 상기 제1 충돌 위험신호가 출력되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되는 경우 제2 충돌 위험신호를 출력하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 제1 충돌 위험신호에 대응하여 상기 경고부의 시각적 경고 수단을 동작시키며, 상기 제2 충돌 위험신호에 대응하여 상기 경고부의 청각적 경고 수단을 동작시키는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  6. 제4항에 있어서,
    상기 대형 차량을 비상 제동시키는 비상 제동부를 더 포함하며,
    상기 제어부는 상기 제2 충돌 위험신호에 대응하여 상기 비상 제동부를 동작시키는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  7. 제1항에 있어서,
    상기 영상 인식 모듈의 출력 결과를 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈에서 촬영된 영상과 함께 화면 출력하는 표시부를 더 포함하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  8. 제1항에 있어서,
    상기 영상 인식 모듈에서 출력되는 상기 충돌 위험신호를 근거리 무선 통신 또는 원거리 무선 통신 방식으로 전송하는 통신부를 더 포함하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  9. 제1항에 있어서,
    상기 영상 인식 모듈은 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈로부터 영상을 입력 받는 영상 입력부;
    상기 영상 입력부로 입력 받은 영상으로부터 객체를 추출하고, 추출된 객체가 상기 이동 객체인지를 판단하고, 상기 이동 객체가 상기 위험 구역 내에 위치하는지를 판단하는 로직을 처리하는 프로세서;
    상기 영상 입력부로 입력 받은 영상과 상기 프로세서에서 처리된 중간 산출 데이터를 저장하는 휘발성 메모리 수단; 및
    상기 프로세서에서 처리되는 로직에 의한 영상 인식 파라미터를 저장하는 비휘발성 메모리 수단
    을 포함하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제1항에 있어서,
    상기 이동 객체 충돌 가능성 결정 모듈은 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈 또는 상기 전방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치.
    (수학식 2)
    Figure 112018106074539-pat00062

    여기서,
    Figure 112018106074539-pat00063
    는 후방 카메라 모듈 또는 전방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
    Figure 112018106074539-pat00064
    는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
    Figure 112018106074539-pat00065
    는 후방 카메라 모듈 또는 전방 카메라 모듈의 지면에 대한 높이,
    Figure 112018106074539-pat00066
    는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  14. 삭제
  15. 삭제
  16. 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈과, 상기 대형 차량의 적어도 일측면 전방에서 상기 후방 카메라 모듈을 대향하여 장착되며 상기 대형 차량의 후방을 지향하여 피촬상물을 촬상하는 전방 카메라 모듈을 이용하여 대형 차량의 측방의 위험 구역을 감시하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법으로서,
    (a) 상기 후방 카메라 및 상기 전방 카메라로부터 영상을 입력받는 단계;
    (b) 상기 단계(a)에서 입력된 영상 내에 포함된 객체를 추출하는 단계;
    (c) 상기 단계(b)에서 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 결정하는 단계;
    (d) 상기 단계(c)에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 생성하는 단계; 및
    (e) 상기 충돌 위험신호에 대응하여 시각적 또는 청각적 경고신호를 출력하는 단계
    를 포함하며,
    상기 단계(d)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
    (수학식 4)
    Figure 112018106074539-pat00118

    여기서,
    Figure 112018106074539-pat00119
    는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
    Figure 112018106074539-pat00120
    는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
    Figure 112018106074539-pat00121
    는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
    Figure 112018106074539-pat00122
    는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  17. 제16항에 있어서,
    상기 단계(d)는,
    (d-1) 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하는 단계; 및
    (d-2) 상기 단계(d-1)의 조건이 만족되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되면 제2 충돌 위험신호를 출력하는 단계
    를 포함하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
  18. 제17항에 있어서,
    상기 단계(e)는 상기 제1 충돌 위험신호에 대응하여 시각적 경고신호를 출력하며, 상기 제2 충돌 위험신호에 대응하여 청각적 경고신호를 출력하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
  19. 제17항에 있어서,
    상기 단계(e) 이후에 상기 제2 충돌 위험신호에 대응하여 상기 대형 차량을 비상 제동시키는 단계를 더 포함하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
  20. 제16항에 있어서,
    상기 단계(c)는,
    (c-1) 영상에서 적어도 하나의 객체를 추출하는 단계;
    (c-2) 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 단계;
    (c-3) 상기 후방 카메라 모듈 및 상기 전방 카메라 모듈 각각에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 단계; 및
    (c-4) 상기 단계(c-3)에서 상기 이동 객체 후보가 이동 중인 상태로 판단되면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 기 설정된 임계값 이상일 때 상기 이동 객체 후보를 이동 객체로 결정하는 단계
    를 포함하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
  21. 제20항에 있어서,
    상기 단계(c-2)는 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 기 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
  22. 제20항에 있어서,
    상기 단계(c-3)은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
    (수학식 1)
    Figure 112016121456370-pat00080

    여기서,
    Figure 112016121456370-pat00081
    는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
    Figure 112016121456370-pat00082
    는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
  23. 제16항에 있어서,
    상기 단계(d)는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈 또는 상기 전방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대향 카메라를 이용한 대형 차량의 측면 안전 보조 방법.
    (수학식 2)
    Figure 112018106074539-pat00083

    여기서,
    Figure 112018106074539-pat00084
    는 후방 카메라 모듈 또는 전방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
    Figure 112018106074539-pat00085
    는 후방 카메라 모듈 또는 전방 카메라 모듈의 초점 거리,
    Figure 112018106074539-pat00086
    는 후방 카메라 모듈 또는 전방 카메라 모듈의 지면에 대한 높이,
    Figure 112018106074539-pat00087
    는 후방 카메라 모듈 또는 전방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  24. 삭제
  25. 삭제
KR1020160168476A 2016-12-12 2016-12-12 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법 KR101955506B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160168476A KR101955506B1 (ko) 2016-12-12 2016-12-12 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
US15/414,924 US10268908B2 (en) 2016-12-12 2017-01-25 Side safety assistant device and method for large vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160168476A KR101955506B1 (ko) 2016-12-12 2016-12-12 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180067755A KR20180067755A (ko) 2018-06-21
KR101955506B1 true KR101955506B1 (ko) 2019-03-11

Family

ID=62489415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160168476A KR101955506B1 (ko) 2016-12-12 2016-12-12 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법

Country Status (2)

Country Link
US (1) US10268908B2 (ko)
KR (1) KR101955506B1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US10657647B1 (en) * 2016-05-20 2020-05-19 Ccc Information Services Image processing system to detect changes to target objects using base object models
EP3291133B1 (en) * 2016-08-31 2021-09-29 Veoneer Sweden AB Vision system and method for a motor vehicle
US10803323B2 (en) * 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US10901080B2 (en) * 2018-10-26 2021-01-26 Fleetmind Seon Solutions Inc. Traffic monitoring and predictive analysis system for use with vehicle stop indicator systems
US11257375B2 (en) * 2018-12-31 2022-02-22 Ficosa Adas, S.L.U. Method and system for detecting objects in a vehicle blind spot
US10643085B1 (en) * 2019-01-30 2020-05-05 StradVision, Inc. Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
US10650548B1 (en) * 2019-01-30 2020-05-12 StradVision, Inc. Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection
US10796434B1 (en) * 2019-01-31 2020-10-06 Stradvision, Inc Method and device for detecting parking area using semantic segmentation in automatic parking system
US11810363B2 (en) * 2019-01-31 2023-11-07 Toyota Motor North America, Inc. Systems and methods for image processing using mobile devices
CN109910754A (zh) * 2019-04-23 2019-06-21 北京七鑫易维科技有限公司 一种盲区画面获取的方法以及终端设备
JP7176478B2 (ja) * 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置
CN110488812A (zh) * 2019-07-25 2019-11-22 天津大学青岛海洋技术研究院 一种基于轴线车的海洋平台大型结构物模块移位搬运方法
CN111361638B (zh) * 2019-10-12 2020-12-08 北汽福田汽车股份有限公司 车辆感知装置的控制方法、装置、可读存储介质及车辆
JP7268612B2 (ja) * 2020-01-20 2023-05-08 トヨタ自動車株式会社 運転支援装置
CN111554124B (zh) * 2020-04-16 2022-07-01 天津职业技术师范大学(中国职业培训指导教师进修中心) 交叉路口大货车右转弯防撞预警系统及预警方法
CN111899563B (zh) * 2020-08-06 2023-12-08 深圳市芯加元科技有限公司 电单车和摩托车走机动车道预警的方法及实现装置
CN111907631A (zh) * 2020-08-06 2020-11-10 南京市芯佳元科技有限公司 电单车和摩托车流媒体安全后视预警的方法及实现装置
CN112232449B (zh) * 2020-12-14 2021-04-27 浙江大华技术股份有限公司 神经网络的训练方法、电子设备及存储介质
CN112721802A (zh) * 2021-02-06 2021-04-30 合肥思艾汽车科技有限公司 集成全景环视和盲区行人预警的车载设备及其预警方法
JP2022172928A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム
TWI775451B (zh) * 2021-05-25 2022-08-21 力歐新能源股份有限公司 電動車轉彎安全防護系統
CN113315961B (zh) * 2021-05-26 2023-04-25 合众新能源汽车股份有限公司 用于透明a柱图像块映射的方法及装置
JP7203907B1 (ja) * 2021-06-22 2023-01-13 本田技研工業株式会社 制御装置、移動体、制御方法、及び端末
CN114261389B (zh) * 2021-11-29 2023-05-12 东风商用车有限公司 自动驾驶商用车的行驶轨迹碰撞风险分析方法
CN114526922B (zh) * 2022-01-21 2023-07-07 烟台开发区海德科技有限公司 商用车adas标定系统及标定方法
KR102604816B1 (ko) * 2023-04-05 2023-11-22 주식회사 디지윌 차량의 교통사고 예방을 위한 ai 카메라 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001315601A (ja) * 2000-05-09 2001-11-13 Nec Corp 車両側面監視装置
JP2010530569A (ja) * 2007-05-25 2010-09-09 スポット デバイセス，インコーポレーテッド 警告警報システムおよび方法
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
KR101604447B1 (ko) * 2015-05-26 2016-03-28 주식회사 피엘케이 테크놀로지 선행차량 추돌 경보 장치 및 방법
JP2016051371A (ja) * 2014-09-01 2016-04-11 株式会社ワーテックス 巻き込み防止警報装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130026933A (ko) * 2011-09-06 2013-03-14 현대모비스 주식회사 차량 충돌 방지 장치와 방법
JP2013196454A (ja) * 2012-03-21 2013-09-30 Honda Elesys Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
US9299159B2 (en) * 2012-11-09 2016-03-29 Cyberlink Corp. Systems and methods for tracking objects
SE537621C2 (sv) 2013-09-10 2015-08-11 Scania Cv Ab Detektering av objekt genom användning av en 3D-kamera och en radar
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001315601A (ja) * 2000-05-09 2001-11-13 Nec Corp 車両側面監視装置
JP2010530569A (ja) * 2007-05-25 2010-09-09 スポット デバイセス，インコーポレーテッド 警告警報システムおよび方法
JP2016051371A (ja) * 2014-09-01 2016-04-11 株式会社ワーテックス 巻き込み防止警報装置
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
KR101604447B1 (ko) * 2015-05-26 2016-03-28 주식회사 피엘케이 테크놀로지 선행차량 추돌 경보 장치 및 방법

Also Published As

Publication number Publication date
US10268908B2 (en) 2019-04-23
US20180165527A1 (en) 2018-06-14
KR20180067755A (ko) 2018-06-21

Similar Documents

Publication Publication Date Title
KR101955506B1 (ko) 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
KR101865766B1 (ko) 대형 차량의 이동 객체 충돌 경고 장치 및 방법
JP6470346B2 (ja) 車両用危険報知制御装置
JP7025912B2 (ja) 車載環境認識装置
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
US9235990B2 (en) Vehicle periphery monitoring device
EP2352136B1 (en) System for monitoring the area around a vehicle
EP2578464B1 (en) Video-based warning system for a vehicle
JP5480925B2 (ja) 車両周辺監視装置
JP2018097766A (ja) 画像処理装置、外界認識装置
JP5898001B2 (ja) 車両周辺監視装置
JP2013020417A (ja) 車両用外界認識装置及びそれを用いた車両制御システム
JP2007279808A (ja) 車両周辺監視装置
JP2015507776A (ja) 車体部及び／又は車輪と対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
JP2015069379A (ja) 車外環境認識装置
JP2005309797A (ja) 歩行者警報装置
CN108482367A (zh) 一种基于智能后视镜辅助驾驶的方法、装置及系统
KR101687094B1 (ko) 교통 표지판 인식 장치 및 교통 표지판 인식 방법
WO2016092925A1 (ja) 接近車両検出装置
JP2014146267A (ja) 歩行者検出装置、運転支援装置
US20190188500A1 (en) Apparatus for monitoring object in low light environment and monitoring method thereof
EP4207102A1 (en) Electronic device, method, and computer readable storage medium for obtaining location information of at least one subject by using plurality of cameras
JP2011090490A (ja) 障害物認識装置
JP6820403B2 (ja) 自動車用視覚システム及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right