WO2018070655A1 - 대형 차량의 이동 객체 충돌 경고 장치 및 방법 - Google Patents

대형 차량의 이동 객체 충돌 경고 장치 및 방법 Download PDF

Info

Publication number
WO2018070655A1
WO2018070655A1 PCT/KR2017/008862 KR2017008862W WO2018070655A1 WO 2018070655 A1 WO2018070655 A1 WO 2018070655A1 KR 2017008862 W KR2017008862 W KR 2017008862W WO 2018070655 A1 WO2018070655 A1 WO 2018070655A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
large vehicle
collision
distance
camera module
Prior art date
Application number
PCT/KR2017/008862
Other languages
English (en)
French (fr)
Inventor
임상묵
김진혁
박광일
Original Assignee
주식회사 피엘케이 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피엘케이 테크놀로지 filed Critical 주식회사 피엘케이 테크놀로지
Publication of WO2018070655A1 publication Critical patent/WO2018070655A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/34—Blind spots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Definitions

  • the present invention identifies moving objects such as bicycles, motorcycles, pedestrians, and the like, which are located within the turning radius when the large vehicle is rotated, and warns a moving object of a large vehicle to prevent accidents by warning a driver or emergency braking.
  • An apparatus and method are provided.
  • an around view monitoring system installs a plurality of cameras around a vehicle and recognizes obstacles around the vehicle by recognizing images captured by the camera, thereby preventing obstacles located in a blind spot of a driver.
  • AVMS is being installed in high-end luxury cars.
  • FIG. 1 is a plan view illustrating a case where a large vehicle rotates at an intersection.
  • the large vehicle 100 attempts to turn right, if the bicycle 200 is running side by side on the right rear side, the bicycle 200 may not enter the driver's view. Since the full length of the large vehicle 100 is long, even if the front wheel does not collide with the bicycle 200, the bicycle 200 is lost due to the bicycle 200 contacting the side frame, and the bicycle 200 falls over, and in the rotation path of the large vehicle 100. Occasionally a cyclist dies or is seriously injured as the rider rides over a fallen cyclist.
  • This type of accident is not common, but it is a type of accident with high life loss at low speeds caused by the characteristics of large vehicles.
  • a large vehicle rotates toward the pedestrian path, the vehicle is slow in speed, but a relatively small and slower moving bicycle, motorcycle, pedestrian, and the like.
  • it is characterized by being formed in a long triangular shape that is formed wide in the front side of the vehicle and narrowly formed in the rear side, and it is necessary to be prevented in that it is a very dangerous accident with a high frequency of death in the event of an accident.
  • the SRR 110 is mounted on the front side of the vehicle to provide a device for monitoring a moving object such as the bicycle 200 on the rear and rear sides.
  • a moving object such as the bicycle 200 on the rear and rear sides.
  • the short range radar SRR
  • the auxiliary seat or driver's seat
  • the moving object such as the bicycle 200 is located outside the monitoring area 120 because it does not cover the entire danger zone 300 as shown in FIG. 1, there is still a problem that the moving object cannot be monitored.
  • the rear luggage compartment is made of all metal, such as a trailer, it is difficult to detect a small bicycle due to radio interference when the radar is installed at the rear and rear of the vehicle.
  • Korean Patent Laid-Open No. 2016-0045857 discloses a technique for detecting an object using a 3D camera and a radar, and also a large vehicle according to the installation position of the 3D camera and the radar, an object detection method, and the like disclosed in the preceding document. Since it is difficult to detect bicycles, motorcycles, and pedestrians located within a radius of rotation, the above-described problems still exist.
  • the present invention accurately identifies moving objects such as bicycles, motorcycles, and pedestrians located within a turning radius when a large vehicle rotates toward a pedestrian path, and warns a driver or executes emergency braking to reduce the frequency of death at a low speed between the large vehicle and the moving object.
  • the object of the present invention is to provide an apparatus and method for warning a moving object collision of a large vehicle, which can prevent a high collision accident in advance.
  • a moving object collision warning device for a large vehicle, the rear camera module mounted on at least one side of the large vehicle and directed to the front of the large vehicle to capture a photographed object;
  • An image receiver configured to receive an image captured by the rear camera module;
  • a moving object determining unit recognizing the image received by the image receiving unit, extracting an object included in the image, and determining whether the extracted object is a moving object including at least one of a bicycle, a motorcycle, and a pedestrian;
  • a moving object collision possibility determination unit that determines whether the moving object determined by the moving object determining unit is located within a preset danger zone and outputs a collision danger signal;
  • a warning unit configured to output a visual or audio warning signal to a driver of the large vehicle;
  • a controller configured to control the warning unit to operate when a collision danger signal is output from the collision possibility determination unit of the moving object.
  • the moving object collision possibility determination unit outputs a first collision danger signal when the moving object is located in the dangerous zone, the first collision risk If a steering angle change of the steering wheel of the large vehicle is detected in a situation in which a signal is output, a second collision danger signal is output.
  • control unit operates a visual warning means of the warning unit in response to the first collision danger signal, and in response to the second collision danger signal Operate the audible warning means of the warning part.
  • the moving object collision warning device for a large vehicle further includes an emergency braking unit for emergency braking the large vehicle, the control unit in response to the second collision danger signal the emergency braking unit To operate.
  • a moving object collision warning device for a large vehicle
  • the moving object determination unit comprises: an object extraction module configured to extract at least one object from an image received by the image receiver; A moving object candidate detection module detecting an edge of an object extracted by the object extraction module and detecting an object having a region of a predetermined size or more separated by the edge as a moving object candidate; Determination of the movement of the moving object candidate by comparing the current frame of the image captured by the rear camera module with the previous frame before the current frame, and determining the moving object candidate as the moving state when the movement occurs.
  • a moving object possibility determination module that determines the moving object candidate as the moving object when the calculated value is equal to or greater than a preset threshold.
  • the moving object candidate detection module detects an edge vertical component of the object, and the similarity between the vertical component and a pattern of the predefined moving object. Determine the moving object candidate.
  • the mobility determining module divides the current frame and the previous frame into blocks of a predetermined size, and the moving object candidate is selected in the current frame.
  • the sum of pixel value differences between an included block and a block including the moving object candidate in the previous frame is calculated based on Equation 1 below, and the block having the smallest sum of the pixel value differences is calculated from the previous frame. If the position of the corresponding block is changed, the moving object candidate is determined to be moving.
  • the moving object collision possibility determination unit recognizes a lower end of the contour point of the moving object, and the rear camera based on Equation 2 below A longitudinal distance on the road between the module and the moving object is calculated, and a collision danger signal is output when the longitudinal distance is located between a predefined longitudinal shortest danger distance and the longest danger distance.
  • Is the longitudinal distance on the road between the rear camera module and the moving object Is the focal length of the rear camera module, Is the height to the ground of the rear camera module, Is the distance between the vanishing point and the lower end of the contour point of the moving object on the viewport picked up by the rear camera module.
  • the moving object collision possibility determination unit recognizes the contour point of the large vehicle and the lower end of the contour point of the moving object, (Equation 4 below) Calculates a lateral distance on the road between the large vehicle and the moving object, and outputs a collision danger signal when the lateral distance is less than a predefined lateral danger distance.
  • Is the lateral distance on the road between the large vehicle and the moving object Is the focal length of the rear camera module, Is the horizontal distance between the lower end of the contour point of the moving object and the contour point of the large vehicle on the viewport captured by the rear camera module, Is the distance between the vanishing point and the lower end of the contour point of the moving object on the viewport picked up by the rear camera module.
  • the moving object collision possibility determination unit recognizes the contour point of the large vehicle and the lower end of the contour point of the moving object, Calculate a longitudinal distance on the road between the rear camera module and the moving object, and calculate a lateral distance on the road between the large vehicle and the moving object based on Equation 4 below: If the longitudinal distance is between the predefined longitudinal shortest danger distance and the longest danger distance and at the same time the lateral distance is less than the predefined lateral danger distance, a collision hazard signal is output.
  • Is the longitudinal distance on the road between the rear camera module and the moving object Is the focal length of the rear camera module, Is the height to the ground of the rear camera module, Is the distance between the vanishing point and the lower end of the contour point of the moving object on the viewport captured by the rear camera module, Is the lateral distance on the road between the large vehicle and the moving object, Is the horizontal distance between the contour point bottom of the moving object and the contour point of the large vehicle on the viewport captured by the rear camera module.
  • Moving object collision warning method of a large vehicle (a) is mounted on at least one side of the rear of the large vehicle image from the rear camera module for imaging the object toward the front of the large vehicle A receiver receiving an image; (b) extracting an object included in the received image by the moving object determiner and determining whether the extracted object is a moving object including at least one of a bicycle, a motorcycle, and a walking vehicle; (c) when the moving object determined in step (b) is located within a preset danger zone, a moving object collision possibility determining unit outputting a collision danger signal; And (d) a warning unit outputting a visual or audio warning signal in response to the collision danger signal.
  • the step (c), (c-1) outputting a first collision danger signal when the moving object is located in the danger zone; ; And (c-2) outputting a second collision danger signal when a steering angle change of the steering wheel of the large vehicle is detected when the condition of the step (c-1) is satisfied.
  • the step (d) outputs a visual warning signal in response to the first collision danger signal, in response to the second collision danger signal Acoustic warning signal is output.
  • the moving object collision warning method for a large vehicle after the step (d) further comprises the step of emergency braking the large vehicle in response to the second collision danger signal.
  • step (b-4) if it is determined that the moving object candidate is in the moving state in step (b-3), a histogram of oriented gradient (HOG) operation is performed on the moving object candidate, and an SVM (Support) is applied to the HOG operation result.
  • HOG histogram of oriented gradient
  • the step (b-2) detects the edge vertical component of the object, and between the vertical component and the pattern of the predefined moving object Similarity is determined to detect the moving object candidate.
  • the step (b-3) divides the current frame and the previous frame into blocks of a predetermined size, and moves the movement in the current frame.
  • the sum of pixel value differences between the block including the object candidate and the block including the moving object candidate in the previous frame is calculated based on Equation 1 below, and the block having the smallest sum of the pixel value differences is calculated. If the position of the corresponding block is changed, the moving object candidate is determined to be in a moving state.
  • the step (c) recognizes the lower end of the contour point of the moving object, and the rear camera module based on Equation 2 below And calculate a longitudinal distance on the road between the moving object and a collision danger signal when the longitudinal distance is located between a predetermined longitudinal shortest dangerous distance and a longest dangerous distance.
  • Is the longitudinal distance on the road between the rear camera module and the moving object Is the focal length of the rear camera module, Is the height to the ground of the rear camera module, Is the distance between the vanishing point and the lower end of the contour point of the moving object on the viewport picked up by the rear camera module.
  • the step (c) recognizes the contour point of the large vehicle and the lower end of the contour point of the moving object, (Equation 4) Calculate a transverse distance on the road between the large vehicle and the moving object based on the; and output a collision danger signal when the transverse distance is less than a predefined transverse danger distance.
  • Is the lateral distance on the road between the large vehicle and the moving object Is the focal length of the rear camera module, Is the horizontal distance between the lower end of the contour point of the moving object and the contour point of the large vehicle on the viewport captured by the rear camera module, Is the distance between the vanishing point and the lower end of the contour point of the moving object on the viewport picked up by the rear camera module.
  • the step (c) recognizes the contour point of the large vehicle and the lower end of the contour point of the moving object, (Equation 2) Calculate a longitudinal distance on the road between the rear camera module and the moving object based on Equation 4, calculate a lateral distance on the road between the large vehicle and the moving object based on Equation 4 below, When the directional distance is located between the predefined longitudinal shortest dangerous distance and the longest dangerous distance and at the same time the lateral distance is less than the predefined lateral dangerous distance, a collision danger signal is output.
  • Is the longitudinal distance on the road between the rear camera module and the moving object Is the focal length of the rear camera module, Is the height to the ground of the rear camera module, Is the distance between the vanishing point and the lower end of the contour point of the moving object on the viewport captured by the rear camera module, Is the lateral distance on the road between the large vehicle and the moving object, Is the horizontal distance between the contour point bottom of the moving object and the contour point of the large vehicle on the viewport captured by the rear camera module.
  • the moving object collision warning device and method of a large vehicle of the present invention it is possible to accurately identify moving objects such as bicycles, motorcycles, pedestrians, etc. located within the turning radius when the large vehicle is rotated to warn the driver or to perform emergency braking. Therefore, there is an effect that can prevent a low-speed casualty accident occurring in the side rear blind spot of a large vehicle.
  • 1 is a plan view showing an example of rotation of a large vehicle
  • FIG. 2 is a plan view showing an example in which the SRR is mounted on a large vehicle
  • FIG. 3 is a view illustrating an example in which a rear camera module is mounted according to the present invention.
  • FIG. 4 is a block diagram illustrating a moving object collision warning device according to the present invention.
  • FIG. 5 is a block diagram illustrating a configuration of a moving object determining unit in the present invention.
  • FIG. 6 is a flowchart illustrating a moving object collision warning method according to the present invention.
  • FIG. 7 is a view illustrating an image captured by a rear camera module in the present invention.
  • FIG. 9 is a diagram illustrating a process of determining a collision possibility of a bicycle based on the image of FIG. 7.
  • ⁇ means a unit for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. Can be.
  • a part is electrically connected to another part, this includes not only the case where it is directly connected, but also the case where it is connected through the other structure in the middle.
  • the present invention relates to a moving object collision warning device and method of a large vehicle, and illustrates an apparatus and method for accurately identifying a moving object located within the turning radius when the large vehicle rotates to warn the driver or to perform emergency braking.
  • the term 'large vehicle' refers to a large vehicle such as a cargo truck, trailer, bus, heavy equipment, etc.
  • the term 'moving object' refers to a moving object such as a bicycle, a motorcycle, a pedestrian, or the like.
  • the present invention is characterized in that the rear camera module mounted on the rear side of a large vehicle captures a danger zone and identifies moving objects such as bicycles, motorcycles, and pedestrians from the captured images.
  • a bicycle is described as an example, and the technical idea of identifying a bicycle can be equally applied to a moving object such as a motorcycle or a pedestrian such as a motorcycle.
  • FIG. 3 is a view showing an example in which the rear camera module is mounted in accordance with the present invention.
  • the rear camera module 500 is mounted at least behind one side of the large vehicle 100.
  • the rear camera module 500 is mounted on at least the rear side of the side of the passenger seat in a domestic traffic environment to monitor the bicycle 200 in the monitoring area 505 when the large vehicle 100 turns right to the pedestrian passage side, and illustrated by way of example.
  • a moving object such as the bicycle 200 for both the rotation of the both sides in the road, such as the back.
  • the rear camera module 500 is installed close to the ground 400 at the rear and rear of the large vehicle 100, thereby placing the bicycle 200 positioned side by side with the large vehicle 100. Make sure you can watch.
  • the rear camera module 500 has a surveillance zone 505 that is directed forward so that the side of the large vehicle 100 and the bicycle 200 are imaged together. A portion of the left side of the orientation angle of the rear camera module 500 may be abandoned to allow the side of the vehicle 100 to be imaged together.
  • the moving object collision warning apparatus for a large vehicle of the present invention includes a rear camera module 500, an image receiver 510, a moving object determiner 520, and a moving object collision possibility determiner 530. ), A warning unit 540, an emergency braking unit 550, and a control unit 600.
  • a moving object collision warning device may be included in an Advanced Driver Assistance System (ADAS) or may be configured as a device that independently identifies and alerts a moving object.
  • ADAS Advanced Driver Assistance System
  • the image receiver 510 receives an image captured by the rear camera module 500.
  • the moving object determiner 520 properly processes the image captured by the rear camera module 500 so as to be used by the image recognition means of the rear end, and divides the image frame into frame units. Can be stored in memory.
  • the moving object determiner 520 recognizes the image received by the image receiver 510, extracts an object included in the image, and determines whether the extracted object is a moving object such as a bicycle, a motorcycle, or a pedestrian.
  • the moving object collision possibility determination unit 530 determines whether the moving object determined by the moving object determination unit 520 is located within a preset danger zone, and outputs a collision danger signal according to the determination result.
  • a detailed description of a process of determining a moving object by the moving object determiner 520 and a process of determining a collision possibility with respect to the moving object by the moving object collision possibility determining unit 530 will be described later with reference to FIG. 4. .
  • the warning unit 540 outputs a visual or audio warning signal to the driver of the large vehicle 100.
  • the warning unit 540 may screen the presence or absence of a moving object on the display displayed to the driver as a graphic or flashing display.
  • the presence of a moving object may be output as a voice message through a speaker installed in the warning device.
  • the warning light may be notified to the driver by turning on a warning light or ringing a buzzer.
  • the moving object collision possibility determination unit 530 outputs a first collision danger signal when the moving object is located in the danger zone, and the steering wheel of the large vehicle 100 in a situation where the first collision danger signal is output.
  • the moving object collision possibility determination unit 530 outputs a first collision danger signal when the moving object is located in the danger zone, and the steering wheel of the large vehicle 100 in a situation where the first collision danger signal is output.
  • the steering wheel of the large vehicle 100 When detecting a steering angle change of the second collision risk signal may be output.
  • the controller 600 may operate a visual warning means of the warning unit 540 to inform that a moving object such as a bicycle 200 exists around the vehicle.
  • a moving object such as a bicycle 200 exists around the vehicle.
  • a bicycle may be graphically displayed on a display screen or a blinking hazard indication may be displayed to alert the driver.
  • the control unit 600 may operate the audible warning means of the warning unit 540 to more actively notify the collision risk.
  • the speaker may output a voice message indicating that the bicycle 200 is located within the turning radius or a voice message such as “bicycle collision risk” or ring a buzzer to notify an emergency danger state.
  • the controller 600 may operate the emergency braking unit 550 to emergency brake the vehicle.
  • the emergency braking unit 550 is a means for autonomous emergency braking of the vehicle even without the driver's brake operation.
  • the controller 600 may emergency brake the vehicle immediately in response to the second collision danger signal, or detect that the driver does not operate the brake even after the second collision danger signal and operate the emergency braking unit 550.
  • the moving object determination unit 520 illustrated in FIG. 4 may include an object extraction module 522, a moving object candidate detection module 524, a mobility determination module 526, and a moving object possibility determination module. 528.
  • the object extraction module 522 extracts at least one object from the image received by the image receiver 510.
  • the 'object' includes both dynamic objects (eg, bicycles, motorcycles, pedestrians, etc.) and static objects (eg, trees, entrance preventing bollards, traffic lights, etc.) existing in the image frame.
  • the object extraction module 522 may detect an edge in the image frame or extract an object based on a color difference between the background and the object. For example, a value of each pixel in an image frame may be calculated, and pixels having similar pixel values may be grouped and extracted as one object.
  • the object extraction module 522 cannot be used in the process of extracting an object.
  • the object may be extracted by grouping the areas separated from the background based on the detected boundary line.
  • Moving object candidate detection module 524 The object extraction module 522 detects an edge of an object extracted and detects an object having a region of a predetermined size or more separated by the edge as a moving object candidate.
  • a feature corresponding to a specific feature of the moving object may be extracted from the object, and the extracted object may be compared with a previously stored pattern of the moving object to remove an object (eg, a static object) unrelated to the moving object in advance.
  • the shape of the occupant may be stored in the lower wheel shape and the upper part of the bicycle as a pattern, and the moving object candidate may be detected by determining the similarity between the object extracted by the object extraction module 522 and the pattern of the bicycle.
  • the extracted object defines a pre-stored pedestrian pattern (the horizontal line at the point where it starts to split into two of the vertical components), defining the upper part below the upper part as the lower part and the length of the upper part being the length of the lower part. Between 60% and 140%, and the bottom part is similar to a pattern of a type divided into two from a horizontal line, it may be detected as a moving object candidate.
  • the mobility determination module 526 detects the movement of the moving object candidate by comparing the current frame of the image captured by the rear camera module 500 and the previous frame before the current frame, and moves the moving object candidate when the movement occurs. Judging by the state.
  • the mobility determination module 526 divides the current frame and the previous frame into blocks of a predetermined size, respectively, and pixel value difference between the block including the moving object candidate in the current frame and the block including the moving object candidate in the previous frame. The sum of is calculated based on Equation 1 below. The block having the smallest sum of pixel value differences is determined as the corresponding block of the previous frame, and when the position of the corresponding block is changed, the moving object candidate is determined to be in the moving state.
  • the mobility determination module 526 calculates the inter-block SAD value of the first corresponding position, and then determines the specific block (block or blocks including the moving object candidate) of the k-th image frame and the k-th image frame. SAD value is calculated by changing the position of a specific block.
  • the block (or blocks) having the smallest SAD value in the k-1th image frame may be determined as a corresponding block corresponding to the specific block of the kth image frame.
  • the movement of the moving object candidate is determined based on whether the position of the corresponding block of the k-1th image frame is changed with respect to the position of the specific block of the kth image frame. do.
  • the image frame of the previous view is not limited to the k-1 th, and the k-10th image frame before the ten frames may be used as the image frame of the previous view.
  • the moving object possibility determination module 528 performs a histogram of oriented gradient (HOG) operation on the moving object candidate, and the SVM (HVM) operation result is determined.
  • HOG histogram of oriented gradient
  • SVM HVM
  • Support Vector Machine If the calculated value is equal to or greater than a preset threshold, the moving object candidate is determined as the moving object.
  • the HOG operation is a histogram showing the direction of the edge, and may be used when the shape of the object is not severe, the internal pattern is simple, and the object can be identified by the outline of the object.
  • the moving object likelihood determination module 528 calculates the direction of the edge by performing a HOG operation in units of cells having a unit size of 8 pixels by 8 pixels.
  • the direction of the edges in the cell is normalized to eight angles and expressed as a histogram for each direction. Normalization is performed on a block in which a plurality of cells are combined (a process of digitizing the direction value of an edge for each cell into an average value for a block), and a descriptor vector is calculated by listing the normalization values.
  • the SVM weighting operation is performed on the calculated descriptor vector, and when the value calculated from the SVM weighting operation is equal to or greater than a preset threshold, the moving object candidate is determined as the moving object. Since the process of performing the SVM weight operation is obvious to those skilled in the art, a detailed description thereof will be omitted.
  • FIG. 6 is a flowchart illustrating a moving object collision warning method according to the present invention.
  • the operation starts with receiving an image from the rear camera module 500 in the image receiving unit 510 (ST610).
  • an object is extracted from each received image frame, and the moving object candidate detection module 524 detects a moving object candidate from the extracted object (ST620).
  • the mobility determination module 526 determines mobility of the moving object candidate by determining similarity between the moving object candidate and the pattern for each of the predefined bicycle, motorcycle, and pedestrian as described above ( ST630).
  • the moving object possibility determination module 528 finally determines the moving object through the HOG operation and the SVM weight operation on the moving object candidate determined to be moving (ST640).
  • the moving object collision possibility determining unit 630 determines the collision possibility for the moving object (ST650).
  • a process of determining a collision possibility of the moving object, operating the warning unit 540 or operating the emergency braking unit 550 will be described later with reference to FIGS. 7 to 9.
  • FIG. 7 is a diagram illustrating an image captured by the rear camera module in the present invention.
  • the large vehicle 100 is always on the left side of the viewport as shown in FIG. 7.
  • the side view of) is imaged. Perspective will make the image smaller in shape toward the front of the vehicle. If the bicycle 200 is located near the right side of the large vehicle 100, an image of the bicycle 200 will be displayed on the right side of the large vehicle 100 as shown in FIG. 7.
  • FIG. 8 illustrates a correlation between an actual coordinate system and a camera viewport coordinate system.
  • an actual coordinate point (X, Z) on a road is refracted by the lens 504 and detected by a camera sensor. Will appear projected on (502) as (x, y).
  • the distance between the rear camera module 500 and the coordinate point (X, Z) recognized in front of the moving object is Can be determined by Equation 2).
  • Is the longitudinal distance on the road between the rear camera module and the moving object Is the focal length of the rear camera module, Is the height to the ground of the rear camera module, Is the distance between the vanishing point and the lower end of the contour point of the moving object on the viewport picked up by the rear camera module.
  • the X-axis distance of the coordinate points X and Z may be determined by Equation 3 below.
  • FIG. 9 is a diagram illustrating a process of determining a collision possibility of a bicycle based on the image of FIG. 7.
  • a large vehicle outline line 102 and a bicycle outline line 202 may be obtained from the front image of FIG. 7.
  • the vanishing point means the vanishing point
  • the lower part of the contour point of the bicycle has a coordinate of (x1, y1) on the basis of the vanishing point, and a large truck extending horizontally from the lower part of the contour point of the bike.
  • the contour point has coordinates of (x2, y1).
  • the distance between the large vehicle 100 and the bicycle 200 can be recognized. If the actual distance between the large vehicle 100 and the bicycle 200 on the road is called 'W', this value can be obtained from Equation 4 below.
  • Is the lateral distance on the road between the large vehicle and the moving object Is the horizontal distance between the contour point bottom of the moving object and the contour point of the large vehicle on the viewport captured by the rear camera module.
  • the moving object collision possibility determining unit 530 may determine a longitudinal distance on the road between the rear camera module and the moving object measured by Equation (2). Is located between the predetermined longitudinal shortest danger distance and the longest danger distance, the first collision danger signal described above may be output. As another example, the moving object collision possibility determining unit 530 may determine the transverse distance on the road between the large vehicle and the moving object measured by Equation (4). When is less than the predefined transverse danger distance may output the above-described first collision danger signal.
  • the first collision danger signal is output.
  • the second collision danger signal may be output when the steering angle change of the steering wheel of the large vehicle is detected in a situation where the first collision danger signal is satisfied.
  • the control unit 600 operates the visual warning means of the warning unit 540 when the first collision danger signal occurs, indicating that a moving object such as a bicycle 200 exists around the vehicle.
  • a visually active warning signal such as a warning light may be output or an acoustic warning signal may be generated through a speaker or a buzzer.
  • the controller 600 operates the emergency braking unit 550 so that the driver does not have a brake operation. Even in such a case, emergency braking of a vehicle can prevent accidental injury.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명의 대형 차량의 이동 객체 충돌 경고 장치는, 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈; 상기 후방 카메라 모듈에서 촬상된 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자를 포함하는 이동 객체인지를 결정하는 이동 객체 결정부; 상기 이동 객체 결정부에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정부; 상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및 상기 이동 객체 충돌 가능성 결정부에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부를 포함한다.

Description

대형 차량의 이동 객체 충돌 경고 장치 및 방법
본 발명은 대형 차량의 회전 시에 회전 반경 내측에 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 식별하고 운전자에게 경고하거나 비상 제동을 실시하여 인명 사고를 방지할 수 있도록 하는 대형 차량의 이동 객체 충돌 경고 장치 및 방법에 관한 것이다.
일반적으로, 어라운드 뷰 모니터링 시스템(AVMS: Around View Monitoring System)은 차량 주변에 복수의 카메라를 설치하고, 카메라에서 촬상된 영상을 인식하여 차량 주변의 장애물을 인식함으로써, 운전자의 사각지대에 위치한 장애물과의 충돌 위험을 예측하고 경보하는 시스템이다. 최근 들어 높은 가격의 고급 차량에 AVMS가 장착되고 있는 추세에 있다.
그런데, 화물 트럭, 트레일러, 버스 등과 같은 대형 차량의 경우에는 전장이 길어 AVMS를 적용하기 위해 일반 승용차에 비해 더욱 많은 카메라를 필요로 하며, 각 카메라에서 촬상된 영상을 인식하기 위해 더욱 복잡한 영상 인식 기술이 요구된다. 이러한 제약들은 대형 차량에 AVMS를 적용하는 것을 곤란하게 한다. 이에 많은 대형 차량들은 일반 승용차가 2개의 사이드 미러를 장착하고 있는 것과 달리, 6개의 사이드 미러를 장착하는 등으로 측후방의 사각지대에 대한 운전자의 감시 영역을 넓히고 있다.
도 1은 대형 차량이 교차로에서 회전하는 경우를 예시한 평면도이다. 도시한 바와 같이, 대형 차량(100)이 우회전을 시도하는 경우 우측 후방에 자전거(200)가 나란하게 달리고 있다면, 운전자의 시야에 자전거(200)가 잘 들어오지 않을 수 있다. 대형 차량(100)의 전장이 길기 때문에 앞바퀴에서는 자전거(200)와 충돌하지 않더라도 측면 프레임에 자전거(200)가 접촉되어 중심을 잃은 자전거(200)가 넘어지고, 대형 차량(100)의 회전 경로에서 뒷바퀴가 넘어진 자전거 탑승자를 타고 넘으면서 자전거 탑승자가 사망하거나 중상을 입는 경우가 가끔 발생된다.
이와 같은 유형의 사고는 흔하지 않지만, 대형 차량의 특성에서 유발되는 저속에서 인명 피해가 높은 사고의 유형이다. 대형 차량이 보행통로 측으로 회전하는 경우 차량의 진행속도는 느리지만, 상대적으로 크기가 작고 더욱 느리게 움직이는 자전거, 이륜차, 보행자 등을 식별하지 못하여 발생하는 사고로서, 위험구역(300)이 도 1에서와 같이 차량의 전방 측부에서는 넓게 형성되고 후방 측부에서는 좁게 형성되는 긴 삼각형 모양으로 형성되는 특징이 있으며, 사고 발생 시에 사망 빈도가 높은 매우 위험한 사고라는 점에서 반드시 예방할 필요가 있다.
종래 대형 차량에서는 도 2에서와 같이 차량의 전방 측면에 SRR(110)을 장착하여, 측후방의 자전거(200)와 같은 이동 객체를 감시하는 장치를 제시한 바 있다. 도 2를 참조하면, SRR(Short Range Radar)은 측정거리가 짧지만 측정각도는 넓은 감시구역(120)을 가지므로, 보조석(또는 운전석)의 측후방을 감시하는 영역을 넓힐 수 있다. 하지만, 도 1에서 살펴본 바와 같은 위험구역(300) 전체를 커버하지 못하여 자전거(200) 등의 이동 객체가 감시구역(120)을 벗어나 위치하는 경우 여전히 이동 객체를 감시할 수 없는 문제가 있다. 또한, 트레일러와 같은 대형 차량은 후방 짐칸이 전부 금속 재질이므로, 레이더를 차량의 측후방에 설치하는 경우 전파 간섭 등에 의해 크기가 작은 자전거를 검출하는 것이 어려운 문제가 있다.
한편, 대한민국 공개특허 제2016-0045857호는 3D 카메라와 레이더를 이용하여 물체를 검출하는 기술을 개시하고 있는데, 동 선행문헌에 개시된 3D 카메라 및 레이더의 설치 위치, 물체의 검출 방법 등에 의하여도 대형 차량의 회전 반경 내에 위치한 자전거, 이륜차, 보행자들을 검출하는 것이 곤란하므로, 상술한 문제점들이 여전히 존재한다.
본 발명은 대형 차량이 보행 통로 측으로 회전할 때 회전 반경 내에 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 정확하게 식별하고 운전자에게 경고하거나 비상 제동을 실시하여 대형 차량과 이동 객체 간에 발생하는 저속에서 사망 빈도가 높은 충돌 사고를 미연에 방지할 수 있도록 한 대형 차량의 이동 객체 충돌 경고 장치 및 방법을 제공함에 그 목적이 있다.
본 발명의 일실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈; 상기 후방 카메라 모듈에서 촬상된 영상을 수신하는 영상 수신부; 상기 영상 수신부에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자 중 적어도 어느 하나 이상을 포함하는 이동 객체인지를 결정하는 이동 객체 결정부; 상기 이동 객체 결정부에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정부; 상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및 상기 이동 객체 충돌 가능성 결정부에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부를 포함한다.
본 발명의 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 상기 제1 충돌 위험신호가 출력되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되는 경우 제2 충돌 위험신호를 출력한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 제어부는 상기 제1 충돌 위험신호에 대응하여 상기 경고부의 시각적 경고 수단을 동작시키며, 상기 제2 충돌 위험신호에 대응하여 상기 경고부의 청각적 경고 수단을 동작시킨다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 대형 차량을 비상 제동시키는 비상 제동부를 더 포함하며, 상기 제어부는 상기 제2 충돌 위험신호에 대응하여 상기 비상 제동부를 동작시킨다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 결정부는, 상기 영상 수신부에서 수신된 영상에서 적어도 하나의 객체를 추출하는 객체 추출 모듈; 상기 객체 추출 모듈에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 이동 객체 후보 검출 모듈; 상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 이동성 결정 모듈; 및 상기 이동성 결정 모듈에서 상기 이동 객체 후보가 이동 중인 상태로 판단하면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 미리 설정된 임계값 이상이면 상기 이동 객체 후보를 이동 객체로 결정하는 이동 객체 가능성 결정 모듈을 포함한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 후보 검출 모듈은 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 미리 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동성 결정 모듈은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.
(수학식 1)
Figure PCTKR2017008862-appb-I000001
여기서,
Figure PCTKR2017008862-appb-I000002
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
Figure PCTKR2017008862-appb-I000003
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure PCTKR2017008862-appb-I000004
여기서,
Figure PCTKR2017008862-appb-I000005
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure PCTKR2017008862-appb-I000006
는 후방 카메라 모듈의 초점 거리,
Figure PCTKR2017008862-appb-I000007
는 후방 카메라 모듈의 지면에 대한 높이,
Figure PCTKR2017008862-appb-I000008
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 4)
Figure PCTKR2017008862-appb-I000009
여기서,
Figure PCTKR2017008862-appb-I000010
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure PCTKR2017008862-appb-I000011
는 후방 카메라 모듈의 초점 거리,
Figure PCTKR2017008862-appb-I000012
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
Figure PCTKR2017008862-appb-I000013
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 장치는, 상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure PCTKR2017008862-appb-I000014
(수학식 4)
Figure PCTKR2017008862-appb-I000015
여기서,
Figure PCTKR2017008862-appb-I000016
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure PCTKR2017008862-appb-I000017
는 후방 카메라 모듈의 초점 거리,
Figure PCTKR2017008862-appb-I000018
는 후방 카메라 모듈의 지면에 대한 높이,
Figure PCTKR2017008862-appb-I000019
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,
Figure PCTKR2017008862-appb-I000020
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure PCTKR2017008862-appb-I000021
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
본 발명의 일실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, (a) 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈로부터 영상 수신부가 영상을 수신하는 단계; (b) 이동 객체 결정부가 수신된 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행차 중 적어도 어느 하나 이상을 포함하는 이동 객체인지를 결정하는 단계; (c) 상기 단계(b)에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는 경우, 이동 객체 충돌 가능성 결정부가 충돌 위험신호를 출력하는 단계; 및 (d) 경고부가 상기 충돌 위험신호에 대응하여 시각적 또는 청각적 경고신호를 출력하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는, (c-1) 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하는 단계; 및 (c-2) 상기 단계(c-1)의 조건이 만족되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되면 제2 충돌 위험신호를 출력하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(d)는 상기 제1 충돌 위험신호에 대응하여 시각적 경고신호를 출력하며, 상기 제2 충돌 위험신호에 대응하여 청각적 경고신호를 출력한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(d) 이후에 상기 제2 충돌 위험신호에 대응하여 상기 대형 차량을 비상 제동시키는 단계를 더 포함한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(b)는, (b-1) 수신된 영상에서 적어도 하나의 객체를 추출하는 단계; (b-2) 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 단계; (b-3) 상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 단계; 및 (b-4) 상기 단계(b-3)에서 이동 객체 후보 이동 중인 상태로 판단되면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 미리 설정된 임계값 이상일 때 상기 이동 객체 후보를 이동 객체로 결정하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(b-2)는 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 미리 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출한다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(b-3)는 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.
(수학식 1)
Figure PCTKR2017008862-appb-I000022
여기서,
Figure PCTKR2017008862-appb-I000023
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
Figure PCTKR2017008862-appb-I000024
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure PCTKR2017008862-appb-I000025
여기서,
Figure PCTKR2017008862-appb-I000026
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure PCTKR2017008862-appb-I000027
는 후방 카메라 모듈의 초점 거리,
Figure PCTKR2017008862-appb-I000028
는 후방 카메라 모듈의 지면에 대한 높이,
Figure PCTKR2017008862-appb-I000029
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 4)
Figure PCTKR2017008862-appb-I000030
여기서,
Figure PCTKR2017008862-appb-I000031
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure PCTKR2017008862-appb-I000032
는 후방 카메라 모듈의 초점 거리,
Figure PCTKR2017008862-appb-I000033
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
Figure PCTKR2017008862-appb-I000034
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
본 발명의 또 다른 실시예에 따른 대형 차량의 이동 객체 충돌 경고 방법은, 상기 단계(c)는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력한다.
(수학식 2)
Figure PCTKR2017008862-appb-I000035
(수학식 4)
Figure PCTKR2017008862-appb-I000036
여기서,
Figure PCTKR2017008862-appb-I000037
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure PCTKR2017008862-appb-I000038
는 후방 카메라 모듈의 초점 거리,
Figure PCTKR2017008862-appb-I000039
는 후방 카메라 모듈의 지면에 대한 높이,
Figure PCTKR2017008862-appb-I000040
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,
Figure PCTKR2017008862-appb-I000041
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure PCTKR2017008862-appb-I000042
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
본 발명의 대형 차량의 이동 객체 충돌 경고 장치 및 방법에 따르면, 대형 차량의 회전 시에 회전 반경 내 위치한 자전거, 이륜차, 보행자 등의 이동 객체를 정확하게 식별하여 운전자에게 이를 경고하거나 비상 제동을 실시할 수 있고, 이에 따라 대형 차량의 측후방 사각지대에서 발생되는 저속의 인명 피해 사고를 예방할 수 있는 효과가 있다.
도 1은 대형 차량의 회전 예를 보인 평면도,
도 2는 대형 차량에 SRR이 장착된 예를 보인 평면도,
도 3은 본 발명에 따라 후방 카메라 모듈이 장착된 예를 보인 도면,
도 4는 본 발명에 따른 이동 객체 충돌 경고 장치를 예시한 블록도,
도 5는 본 발명에서 이동 객체 결정부의 구성을 예시한 블록도,
도 6은 본 발명에 따른 이동 객체 충돌 경고 방법을 예시한 흐름도,
도 7은 본 발명에서 후방 카메라 모듈에 의해 촬상된 영상을 예시한 도면,
도 8은 실제 좌표계와 카메라 뷰포트 좌표계의 상관관계를 예시한 도면, 및
도 9는 도 7의 영상을 기준으로 자전거의 충돌 가능성을 판단하는 과정을 예시한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.
명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.
실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.
본 발명은 대형 차량의 이동 객체 충돌 경고 장치 및 방법에 관한 것으로서, 대형 차량이 회전할 때 회전 반경 내에 위치한 이동 객체를 정확하게 식별하여 운전자에게 경고하거나 비상 제동을 실시하기 위한 장치 및 방법을 예시한다. 이하에서 '대형 차량'이라 함은 화물 트럭, 트레일러, 버스, 중장비 등과 같은 대형 차량을 의미하며, '이동 객체'라 함은 자전거, 이륜차, 보행자 등의 이동하는 객체를 의미한다. 본 발명은 대형 차량의 측면 후방에 장착되는 후방 카메라 모듈로 위험 구역을 촬상하고, 촬상된 영상으로부터 자전거, 이륜차, 보행자 등의 이동 객체를 식별하는 구성에 특징이 있는 발명으로서, 이하에서는 이동 객체로서 자전거를 예를 들어 설명하며, 자전거를 식별하는 기술사상은 모터사이클과 같은 이륜차 또는 보행자 등의 이동 객체에 대하여도 동일하게 적용될 수 있다.
도 3은 본 발명에 따라 후방 카메라 모듈이 장착된 예를 보인 도면이다. 도 3을 참조하면, 대형 차량(100)의 적어도 일측면 후방에는 후방 카메라 모듈(500)이 장착된다. 후방 카메라 모듈(500)은 국내의 교통 환경에서는 적어도 보조석 측의 측면 후방에 장착되어 대형 차량(100)이 보행 통로 측으로 우회전 하는 경우 감시구역(505) 내 자전거(200)를 감시하며, 도시하여 예시하지 않았지만 양측면 후방에 장착되어 이면 도로 등에서 양측방의 회전 모두에 대해서 자전거(200)와 같은 이동 객체를 감시할 수도 있다.
도 3의 상부에 도시된 바와 같이, 후방 카메라 모듈(500)은 대형 차량(100)의 측후방에서 지면(400)에 가깝게 설치되어, 대형 차량(100)과 나란하게 위치하는 자전거(200)를 감시할 수 있도록 한다. 또한, 도 3의 하부에 도시된 바와 같이, 후방 카메라 모듈(500)은 대형 차량(100)의 측면과 자전거(200)가 함께 촬상되도록 전방을 지향하는 감시구역(505)을 가지며, 이와 같이 대형 차량(100)의 측면을 함께 촬상하도록 하기 위해 후방 카메라 모듈(500)의 지향각 중 좌측 일부는 포기할 수도 있다.
도 4는 본 발명에 따른 이동 객체 충돌 경고 장치를 예시한 블록도이다. 도 4를 참조하면, 본 발명의 대형 차량의 이동 객체 충돌 경고 장치는 후방 카메라 모듈(500)과, 영상 수신부(510)와, 이동 객체 결정부(520)와, 이동 객체 충돌 가능성 결정부(530)와, 경고부(540)와, 비상 제동부(550)와, 제어부(600)를 포함하여 구성된다. 이러한 이동 객체 충돌 경고 장치는 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 포함되거나 독립적으로 이동 객체를 식별하여 경고하는 장치로 구성될 수도 있다.
영상 수신부(510)는 후방 카메라 모듈(500)에서 촬상된 영상을 수신한다. 이동 객체 결정부(520)는 영상 수신부(510)는 후방 카메라 모듈(500)에서 촬상된 영상을 후단부의 영상 인식 수단에서 이용할 수 있도록 적절하게 처리하여 프레임 단위로 구분하고, 각 영상 프레임을 도시 안된 메모리에 저장할 수 있다.
이동 객체 결정부(520)는 영상 수신부(510)에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고, 추출된 객체가 자전거, 이륜차, 및 보행자 등의 이동 객체인지를 결정한다.
이동 객체 충돌 가능성 결정부(530)는 이동 객체 결정부(520)에서 결정된 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하고, 판단 결과에 따라 충돌 위험신호를 출력한다. 이동 객체 결정부(520)에서 이동 객체를 결정하는 과정 및 이동 객체 충돌 가능성 결정부(530)에서 이동 객체에 대한 충돌 가능성을 판단하는 과정에 대한 구체적인 설명은 도 4 이하의 도면들을 참조하여 후술한다.
경고부(540)는 대형 차량(100)의 운전자에게 시각적 또는 청각적 경고 신호를 출력한다. 예를 들어, 경고부(540)는 운전자에게 표시되는 디스플레이 상에서 이동 객체의 존재 여부를 그래픽 또는 점멸 표시로 화면 출력할 수 있다. 다른 예로서, 경고 장치에 설치된 스피커를 통해 이동 객체의 존재 여부를 음성 메시지로 출력할 수도 있다. 또 다른 예로서, 경광등을 점등시키거나 부저를 울려 운전자에게 경고 상태를 알릴 수도 있다.
바람직하게는, 이동 객체 충돌 가능성 결정부(530)는 이동 객체가 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 제1 충돌 위험신호가 출력되는 상황에서 대형 차량(100)의 스티어링 휠의 조향각 변화를 감지하는 경우 제2 충돌 위험신호를 출력할 수 있다.
제어부(600)는 제1 충돌 위험신호가 발생하는 경우 경고부(540)의 시각적 경고 수단을 동작시켜, 차량 주변에 자전거(200) 등의 이동 객체가 존재하는 상태임을 알릴 수 있다. 예를 들어, 디스플레이 화면상에 자전거를 그래픽으로 보여주거나 위험 표시를 점멸 표시하여 운전자의 주의를 환기시킬 수 있다.
제어부(600)는 제2 충돌 위험신호가 발생하는 경우 경고부(540)의 청각적 경고수단을 동작시켜, 충돌 위험을 더 적극적으로 알릴 수 있다. 예를 들어, 스피커를 통해 회전 반경 내에 자전거(200)가 위치하고 있다는 음성 메시지 또는 "자전거 충돌 위험" 등의 음성 메시지를 출력하거나 부저를 울려 긴급한 위험 상태를 알릴 수 있다.
나아가, 제어부(600)는 제2 충돌 위험신호가 발생하는 경우 비상 제동부(550)를 동작시켜, 차량을 비상 제동시킬 수 있다. 여기서, 비상 제동부(550)는 운전자의 브레이크 조작이 없어도 차량을 자율적으로 비상 제동시키는 수단이다. 제어부(600)는 제2 충돌 위험신호에 대응하여 곧바로 차량을 비상 제동시키거나, 제2 충돌 위험신호 이후에도 운전자의 브레이크 조작이 없는 상태임을 검출하여 비상 제동부(550)를 동작시킬 수 있다.
도 5는 본 발명에서 이동 객체 결정부의 구성을 예시한 블록도이다. 도 5를 참조하면, 도 4에 도시된 이동 객체 결정부(520)는 객체 추출 모듈(522)과, 이동 객체 후보 검출 모듈(524)과, 이동성 결정 모듈(526)과, 이동 객체 가능성 결정 모듈(528)로 구성된다.
객체 추출 모듈(522)은 영상 수신부(510)에서 수신된 영상에서 적어도 하나의 객체를 추출한다. 여기서, '객체'는 영상 프레임 내에 존재하는 동적 객체(예를 들어, 자전거, 이륜차, 보행자 등과 같은)와 정적 객체(예를 들어, 나무, 진입 방지용 볼라드, 신호등 등과 같은)를 모두 포함한다. 객체 추출 모듈(522)은 영상 프레임 내에서 에지를 검출하거나 배경과 객체 간의 색상 차이에 근거하여 객체를 추출할 수 있다. 예를 들어, 영상 프레임 내의 각 픽셀들의 값을 계산하고, 유사한 픽셀 값을 갖는 픽셀들을 그룹화 하여 하나의 객체로서 추출할 수 있다.
객체 추출 모듈(522)에서 객체를 추출하는 과정에서 캐니(Canny) 에지 검출 알고리즘, 라인(Line) 에지 검출 알고리즘, 라플라시안(Laplacian) 에지 검출 알고리즘 등이 사용될 수 없으며, 이러한 알고리즘을 이용하여 경계선을 검출하고 검출된 경계선을 기초로 배경과 구분되는 영역을 그룹화 하여 객체를 추출할 수 있다.
이동 객체 후보 검출 모듈(524) 객체 추출 모듈(522)에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출한다. 여기서, 이동 객체의 특정 특징과 대응되는 특징을 객체로부터 추출하고, 추출된 객체를 미리 저장된 이동 객체의 패턴과 비교하여 이동 객체와 무관한 객체(예컨대, 정적 객체)를 미리 제거할 수 있다.
예를 들어, 자전거의 하부 바퀴 모양과 상부에 탑승자의 형태를 패턴으로 저장하고, 객체 추출 모듈(522)에서 추출된 객체와 자전거의 패턴 간에 유사도를 판단하여 이동 객체 후보를 검출할 수 있다. 다른 예로서, 추출된 객체가 미리 저장된 보행자의 패턴(수직 성분 중 두 개로 갈라지기 시작하는 지점의 수평선을 기준으로 하여, 수평선보다 위쪽을 상단부 아래쪽을 하단부로 정의하고, 상단부의 길이가 하단부 길이의 60% 내지 140%에 포함되고, 하단부가 수평선으로부터 두 개로 갈리진 유형의 패턴)과 유사할 경우, 이동 객체 후보로 검출할 수도 있다.
이동성 결정 모듈(526)은 후방 카메라 모듈(500)에서 촬상된 영상의 현재 프레임과 현재 프레임 이전 시점의 이전 프레임을 비교하여 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단한다.
구체적으로, 이동성 결정 모듈(526)은 현재 프레임과 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 현재 프레임에서 이동 객체 후보가 포함된 블록과 이전 프레임에서 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출한다. 픽셀값 차이의 합이 가장 작은 블록을 이전 프레임의 대응 블록으로 결정하고, 대응 블록의 위치가 변경되면 이동 객체 후보를 이동 중인 상태로 판단한다.
(수학식 1)
Figure PCTKR2017008862-appb-I000043
여기서,
Figure PCTKR2017008862-appb-I000044
는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
Figure PCTKR2017008862-appb-I000045
는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
이동성 결정 모듈(526)은 최초에 대응되는 위치의 블록 간 SAD 값을 산출한 후, k번째 영상 프레임의 특정 블록(이동 객체 후보가 포함되어 있는 블록 또는 블록들)과 k-1번째 영상 프레임의 특정 블록의 위치를 바꿔가면서 SAD 값을 산출한다. 그리고 k-1번째 영상 프레임에서 가장 작은 SAD 값을 갖는 블록(또는 블록들)을 k번째 영상 프레임의 특정 블록에 대응되는 대응 블록으로 결정할 수 있다.
k-1번째 영상 프레임의 대응 블록이 결정되고 나면, k번째 영상 프레임의 특정 블록의 위치에 대하여 k-1번째 영상 프레임의 대응 블록의 위치가 변경되었는지 여부에 근거하여 이동 객체 후보의 이동을 판단한다. 여기서, 이전 시점의 영상 프레임은 k-1번째에 국한되는 것이 아니며, 10 프레임 이전의 k-10번째 영상 프레임이 이전 시점의 영상 프레임으로 이용될 수도 있다.
이동 객체 가능성 결정 모듈(528)은 이동성 결정 모듈(526)에서 이동 객체 후보가 이동 중인 상태로 판단하면, 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 미리 설정된 임계값 이상일 경우 이동 객체 후보를 이동 객체로 결정한다.
HOG 연산은 에지의 방향을 히스토그램으로 나타낸 것으로서, 객체의 형태 변화가 심하지 않고 내부 패턴이 단순하며, 객체의 윤곽선으로 객체를 식별할 수 있는 경우에 사용될 수 있다.
예를 들어, 이동 객체 가능성 결정 모듈(528)은 8픽셀*8픽셀의 단위 크기를 갖는 셀 단위로 HOG 연산을 수행하여 에지의 방향을 산출한다. 셀 내에서 에지의 방향을 8개의 각도로 표준화하고, 각 방향에 대한 히스토그램으로 표현한다. 복수의 셀이 조합된 블록에 대하여 정규화(각 셀에 대한 에지의 방향 값을 블록에 대한 평균값으로 수치화하는 과정)를 하고, 정규화 값을 나열하여 기술자 벡터(Descriptor Vector)를 산출한다. 그리고 산출된 기술자 벡터에 SVM 가중치 연산을 수행하고, SVM 가중치 연산으로부터 산출된 값이 미리 설정된 임계값 이상일 경우 이동 객체 후보를 이동 객체로 결정한다. SVM 가중치 연산을 수행하는 과정은 당해 분야에서 통상의 지식을 가진 자에게 자명하므로, 구체적인 설명은 생략한다.
도 6은 본 발명에 따른 이동 객체 충돌 경고 방법을 예시한 흐름도이다. 도 6을 참조하면, 영상 수신부(510)에서 후방 카메라 모듈(500)로부터 영상을 수신하는 것으로 단계가 시작된다(ST610). 설명한 바와 같이, 수신된 각 영상 프레임으로부터 객체를 추출하고, 이동 객체 후보 검출 모듈(524)이 추출된 객체로부터 이동 객체 후보를 검출한다(ST620).
이동 객체 후보가 검출되면, 이동성 결정 모듈(526)이 전술한 바와 같이 이동 객체 후보와 미리 정의된 자전거, 이륜차, 및 보행자 각각에 대한 패턴 간에 유사도를 판단하여 이동 객체 후보에 대한 이동성을 결정한다(ST630). 이동 객체 가능성 결정 모듈(528)은 이동 중인 것으로 판단된 이동 객체 후보에 대하여 HOG 연산 및 SVM 가중치 연산을 통해 최종적으로 이동 객체를 결정한다(ST640).
다음으로, 이동 객체 충돌 가능성 결정부(630)는 이동 객체에 대한 충돌 가능성을 결정한다(ST650). 이동 객체 충돌 가능성을 결정하고, 경고부(540)를 동작시키거나 비상 제동부(550)를 동작시키는 과정은 도 7 내지 9를 참조하여 후술한다.
도 7은 본 발명에서 후방 카메라 모듈에 의해 촬상된 영상을 예시한 도면이다. 앞서 도 3에서 묘사한 바와 같이 후방 카메라 모듈(500)이 대형 차량(100)의 측면 후방에 장착되어 전방을 지향하여 촬상하고 있는 상태이므로, 도 7에서와 같이 뷰포트 상의 좌측에는 항상 대형 차량(100)의 측면 모습이 촬상된다. 원근감에 의해 차량의 앞쪽으로 갈수록 형상이 작게 상이 맺힐 것이다. 만약, 대형 차량(100)의 우측에 근접하여 자전거(200)가 위치한다면, 도 7에서와 같이 대형 차량(100)의 우측에 자전거(200)의 이미지가 표시될 것이다.
도 8은 실제 좌표계와 카메라 뷰포트 좌표계의 상관관계를 예시한 도면으로, 도 8에서와 같이 도로 상의 실제 좌표 지점(X, Z)은 렌즈(504)에서 굴절되어 카메라의 센서에 의해 검출되는 카메라 뷰포트(502) 상에서 (x,y)로 투영되어 나타날 것이다.
만약, 전방에 인식된 좌표 지점(X, Z)이 이동 객체의 윤곽점 하단부를 나타낸다면, 도로 상에서 후방 카메라 모듈(500)과 전방에 인식된 좌표 지점(X, Z)간의 거리는 아래의 (수학식 2)에 의해 결정될 수 있다.
(수학식 2)
Figure PCTKR2017008862-appb-I000046
여기서,
Figure PCTKR2017008862-appb-I000047
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
Figure PCTKR2017008862-appb-I000048
는 후방 카메라 모듈의 초점 거리,
Figure PCTKR2017008862-appb-I000049
는 후방 카메라 모듈의 지면에 대한 높이,
Figure PCTKR2017008862-appb-I000050
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
좌표 지점(X, Z)의 X축 거리는 아래의 (수학식 3)에 의해 결정될 수 있다.
(수학식 3)
Figure PCTKR2017008862-appb-I000051
여기서,
Figure PCTKR2017008862-appb-I000052
는 후방 카메라 모듈과 이동 객체 간의 도로 상의 횡방향 수평 거리,
Figure PCTKR2017008862-appb-I000053
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객에의 윤곽점 하단부 간의 거리이다.
도 9는 도 7의 영상을 기준으로 자전거의 충돌 가능성을 판단하는 과정을 예시한 도면이다. 도 9를 참조하면, 도 7과 같은 전방 영상으로부터 대형 차량 윤곽라인(102)과 자전거 윤곽라인(202)을 얻을 수 있다. 여기서 촬상 화면상에서 원점(vanishing point)은 소실점을 의미하며, 소실점을 기준으로 하여 자전거의 윤곽점 하단부는 (x1, y1)의 좌표를 가지며, 자전거의 윤곽점 하단부에서 수평 방향으로 연장된 대형 트럭의 윤곽점은 (x2, y1)의 좌표를 갖게 된다.
즉, 대형 차량(100)과 자전거(200) 간의 거리를 인식할 수 있게 된다. 만약 도로 상에서 대형 차량(100)과 자전거(200) 간의 실제 거리를 'W'라고 한다면, 이 값은 아래의 (수학식 4)로부터 얻을 수 있다.
(수학식 4)
Figure PCTKR2017008862-appb-I000054
여기서,
Figure PCTKR2017008862-appb-I000055
는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
Figure PCTKR2017008862-appb-I000056
는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
이동 객체 충돌 가능성 결정부(530)는 (수학식 2)에 의해 측정된 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리
Figure PCTKR2017008862-appb-I000057
가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 상술한 제1 충돌 위험신호를 출력할 수 있다. 다른 예로서, 이동 객체 충돌 가능성 결정부(530)는 (수학식 4)에 의해 측정된 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리
Figure PCTKR2017008862-appb-I000058
가 미리 정의된 횡방향 위험거리 미만인 경우 상술한 제1 충돌 위험신호를 출력할 수 있다.
바람직하게는, 위의 두 가지 조건이 모두 만족하는 경우, 제1 충돌 위험신호를 출력한다. 그리고 제1 충돌 위험신호가 발생되는 조건이 만족되는 상황에서 대형 차량의 스티어링 휠의 조향각 변화를 감지하는 경우 제2 충돌 위험신호를 출력할 수 있다.
전술한 바와 같이, 제어부(600)는 제1 충돌 위험신호가 발생하는 경우 경고부(540)의 시각적 경고 수단을 동작시켜, 차량 주변에 자전거(200) 등의 이동 객체가 존재하는 상태임을 디스플레이 화면상으로 알릴 수 있으며, 제2 충돌 위험신호가 발생하는 경우 경광등과 같은 시각적으로 적극적인 경고신호를 출력하거나 스피커나 부저를 통해 청각적인 경고신호를 발생시킬 수 있다. 또한, 제2 충돌 위험신호가 발생하는 상황에서는 저속의 충돌 사고에 의해서도 사망과 같은 치명적인 위험 상황이 초래될 수 있으므로, 제어부(600)에서 비상 제동부(550)를 동작시켜 운전자의 브레이크 조작이 없는 경우라도 차량을 비상 제동시킴으로써, 인명 피해 사고를 미연에 방지할 수 있게 된다.

Claims (20)

  1. 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈;
    상기 후방 카메라 모듈에서 촬상된 영상을 수신하는 영상 수신부;
    상기 영상 수신부에서 수신된 영상을 인식하여 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행자 중 적어도 어느 하나 이상을 포함하는 이동 객체인지를 결정하는 이동 객체 결정부;
    상기 이동 객체 결정부에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는지를 판단하여 충돌 위험신호를 출력하는 이동 객체 충돌 가능성 결정부;
    상기 대형 차량의 운전자에게 시각적 또는 청각적 경고신호를 출력하는 경고부; 및
    상기 이동 객체 충돌 가능성 결정부에서 충돌 위험신호가 출력되면 상기 경고부를 동작시키도록 제어하는 제어부
    를 포함하는 대형 차량의 이동 객체 충돌 경고 장치.
  2. 제1항에 있어서,
    상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하며, 상기 제1 충돌 위험신호가 출력되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되는 경우 제2 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 제1 충돌 위험신호에 대응하여 상기 경고부의 시각적 경고 수단을 동작시키며, 상기 제2 충돌 위험신호에 대응하여 상기 경고부의 청각적 경고 수단을 동작시키는 대형 차량의 이동 객체 충돌 경고 장치.
  4. 제2항에 있어서,
    상기 대형 차량을 비상 제동시키는 비상 제동부를 더 포함하며,
    상기 제어부는 상기 제2 충돌 위험신호에 대응하여 상기 비상 제동부를 동작시키는 대형 차량의 이동 객체 충돌 경고 장치.
  5. 제1항에 있어서,
    상기 이동 객체 결정부는,
    상기 영상 수신부에서 수신된 영상에서 적어도 하나의 객체를 추출하는 객체 추출 모듈;
    상기 객체 추출 모듈에서 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 이동 객체 후보 검출 모듈;
    상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 이동성 결정 모듈; 및
    상기 이동성 결정 모듈에서 상기 이동 객체 후보가 이동 중인 상태로 판단하면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 미리 설정된 임계값 이상이면 상기 이동 객체 후보를 이동 객체로 결정하는 이동 객체 가능성 결정 모듈
    을 포함하는 대형 차량의 이동 객체 충돌 경고 장치.
  6. 제5항에 있어서,
    상기 이동 객체 후보 검출 모듈은 상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 미리 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출하는 대형 차량의 이동 객체 충돌 경고 장치.
  7. 제5항에 있어서,
    상기 이동성 결정 모듈은 상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 대형 차량의 이동 객체 충돌 경고 장치.
    (수학식 1)
    Figure PCTKR2017008862-appb-I000059
    여기서,
    Figure PCTKR2017008862-appb-I000060
    는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
    Figure PCTKR2017008862-appb-I000061
    는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
  8. 제1항에 있어서,
    상기 이동 객체 충돌 가능성 결정부는 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
    (수학식 2)
    Figure PCTKR2017008862-appb-I000062
    여기서,
    Figure PCTKR2017008862-appb-I000063
    는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
    Figure PCTKR2017008862-appb-I000064
    는 후방 카메라 모듈의 초점 거리,
    Figure PCTKR2017008862-appb-I000065
    는 후방 카메라 모듈의 지면에 대한 높이,
    Figure PCTKR2017008862-appb-I000066
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  9. 제1항에 있어서,
    상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
    (수학식 4)
    Figure PCTKR2017008862-appb-I000067
    여기서,
    Figure PCTKR2017008862-appb-I000068
    는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
    Figure PCTKR2017008862-appb-I000069
    는 후방 카메라 모듈의 초점 거리,
    Figure PCTKR2017008862-appb-I000070
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
    Figure PCTKR2017008862-appb-I000071
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  10. 제1항에 있어서,
    상기 이동 객체 충돌 가능성 결정부는 상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 장치.
    (수학식 2)
    Figure PCTKR2017008862-appb-I000072
    (수학식 4)
    Figure PCTKR2017008862-appb-I000073
    여기서,
    Figure PCTKR2017008862-appb-I000074
    는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
    Figure PCTKR2017008862-appb-I000075
    는 후방 카메라 모듈의 초점 거리,
    Figure PCTKR2017008862-appb-I000076
    는 후방 카메라 모듈의 지면에 대한 높이,
    Figure PCTKR2017008862-appb-I000077
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리,
    Figure PCTKR2017008862-appb-I000078
    는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
    Figure PCTKR2017008862-appb-I000079
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
  11. (a) 대형 차량의 적어도 일측면 후방에 장착되며 상기 대형 차량의 전방을 지향하여 피촬상물을 촬상하는 후방 카메라 모듈로부터 영상 수신부가 영상을 수신하는 단계;
    (b) 이동 객체 결정부가 수신된 영상 내에 포함된 객체를 추출하고 추출된 객체가 자전거, 이륜차, 및 보행차 중 적어도 어느 하나 이상을 포함하는 이동 객체인지를 결정하는 단계;
    (c) 상기 단계(b)에서 결정된 상기 이동 객체가 미리 설정된 위험 구역 내에 위치하는 경우, 이동 객체 충돌 가능성 결정부가 충돌 위험신호를 출력하는 단계; 및
    (d) 경고부가 상기 충돌 위험신호에 대응하여 시각적 또는 청각적 경고신호를 출력하는 단계
    를 포함하는 대형 차량의 이동 객체 충돌 경고 방법.
  12. 제11항에 있어서, 상기 단계(c)는,
    (c-1) 상기 이동 객체가 상기 위험 구역 내에 위치하는 경우 제1 충돌 위험신호를 출력하는 단계; 및
    (c-2) 상기 단계(c-1)의 조건이 만족되는 상황에서 상기 대형 차량의 스티어링 휠의 조향각 변화가 감지되면 제2 충돌 위험신호를 출력하는 단계
    를 포함하는 대형 차량의 이동 객체 충돌 경고 방법.
  13. 제12항에 있어서, 상기 단계(d)는,
    상기 제1 충돌 위험신호에 대응하여 시각적 경고신호를 출력하며, 상기 제2 충돌 위험신호에 대응하여 청각적 경고신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
  14. 제12항에 있어서, 상기 단계(d) 이후,
    비상 제동부가 상기 제2 충돌 위험신호에 대응하여 상기 대형 차량을 비상 제동시키는 단계를 더 포함하는 대형 차량의 이동 객체 충돌 경고 방법.
  15. 제11항에 있어서, 상기 단계(b)는,
    (b-1) 수신된 영상에서 적어도 하나의 객체를 추출하는 단계;
    (b-2) 추출한 객체의 에지(edge)를 검출하고 에지에 의해 구분되는 소정 크기 이상의 영역을 가지는 객체를 이동 객체 후보로 검출하는 단계;
    (b-3) 상기 후방 카메라 모듈에서 촬상된 영상의 현재 프레임과 상기 현재 프레임 이전 시점의 이전 프레임을 비교하여 상기 이동 객체 후보의 움직임을 검출하고, 움직임이 발생하면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 단계; 및
    (b-4) 상기 단계(b-3)에서 이동 객체 후보 이동 중인 상태로 판단되면, 상기 이동 객체 후보에 대하여 HOG(Histogram of Oriented Gradient) 연산을 수행하고, 상기 HOG 연산 결과에 SVM(Support Vector Machine) 가중치 연산을 수행하여 산출된 값이 미리 설정된 임계값 이상일 때 상기 이동 객체 후보를 이동 객체로 결정하는 단계
    를 포함하는 대형 차량의 이동 객체 충돌 경고 방법.
  16. 제15항에 있어서, 상기 단계(b-2)는,
    상기 객체의 에지 수직 성분을 검출하고, 상기 수직 성분과 미리 정의된 상기 이동 객체의 패턴 간에 유사도를 판단하여 상기 이동 객체 후보를 검출하는 대형 차량의 이동 객체 충돌 경고 방법.
  17. 제15항에 있어서, 상기 단계(b-3)는,
    상기 현재 프레임과 상기 이전 프레임을 각각 소정 크기의 블록으로 분할하고, 상기 현재 프레임에서 상기 이동 객체 후보가 포함된 블록과 상기 이전 프레임에서 상기 이동 객체 후보가 포함된 블록 간에 픽셀값 차이의 합을 아래의 (수학식 1)에 근거하여 산출하고, 상기 픽셀값 차이의 합이 가장 작은 블록을 상기 이전 프레임의 대응 블록으로 결정하고, 상기 대응 블록의 위치가 변경되면 상기 이동 객체 후보를 이동 중인 상태로 판단하는 대형 차량의 이동 객체 충돌 경고 방법.
    (수학식 1)
    Figure PCTKR2017008862-appb-I000080
    여기서,
    Figure PCTKR2017008862-appb-I000081
    는 k번째 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값,
    Figure PCTKR2017008862-appb-I000082
    는 k번째 영상 프레임 이전 영상 프레임의 블록의 i번째 행 및 j번째 열의 픽셀값이다.
  18. 제11항에 있어서, 상기 단계(c)는,
    상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하는 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
    (수학식 2)
    Figure PCTKR2017008862-appb-I000083
    여기서,
    Figure PCTKR2017008862-appb-I000084
    는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
    Figure PCTKR2017008862-appb-I000085
    는 후방 카메라 모듈의 초점 거리,
    Figure PCTKR2017008862-appb-I000086
    는 후방 카메라 모듈의 지면에 대한 높이,
    Figure PCTKR2017008862-appb-I000087
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  19. 제11항에 있어서, 상기 단계(c)는,
    상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
    (수학식 4)
    Figure PCTKR2017008862-appb-I000088
    여기서,
    Figure PCTKR2017008862-appb-I000089
    는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
    Figure PCTKR2017008862-appb-I000090
    는 후방 카메라 모듈의 초점 거리,
    Figure PCTKR2017008862-appb-I000091
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리,
    Figure PCTKR2017008862-appb-I000092
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리이다.
  20. 제11항에 있어서, 상기 단계(c)는,
    상기 대형 차량의 윤곽점 및 상기 이동 객체의 윤곽점 하단부를 인식하고, 아래의 (수학식 2)에 근거하여 상기 후방 카메라 모듈과 상기 이동 객체 간의 도로 상의 종방향 거리를 연산하고, 아래의 (수학식 4)에 근거하여 상기 대형 차량과 상기 이동 객체 간의 도로 상의 횡방향 거리를 연산하고, 상기 종방향 거리가 미리 정의된 종방향 최단 위험거리와 최장 위험거리 사이에 위치하면서 동시에 상기 횡방향 거리가 미리 정의된 횡방향 위험거리 미만인 경우 충돌 위험신호를 출력하는 대형 차량의 이동 객체 충돌 경고 방법.
    (수학식 2)
    Figure PCTKR2017008862-appb-I000093
    (수학식 4)
    Figure PCTKR2017008862-appb-I000094
    여기서,
    Figure PCTKR2017008862-appb-I000095
    는 후방 카메라 모듈과 이동 객체 간의 도로 상의 종방향 거리,
    Figure PCTKR2017008862-appb-I000096
    는 후방 카메라 모듈의 초점 거리,
    Figure PCTKR2017008862-appb-I000097
    는 후방 카메라 모듈의 지면에 대한 높이,
    Figure PCTKR2017008862-appb-I000098
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 소실점과 이동 객체의 윤곽점 하단부 간의 거리, 는 대형 차량과 이동 객체 간의 도로 상의 횡방향 거리,
    Figure PCTKR2017008862-appb-I000100
    는 후방 카메라 모듈에 의해 촬상된 뷰포트 상에서 이동 객체의 윤곽점 하단부와 대형 차량의 윤곽점 간 수평 거리이다.
PCT/KR2017/008862 2016-10-11 2017-08-16 대형 차량의 이동 객체 충돌 경고 장치 및 방법 WO2018070655A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160131437A KR101865766B1 (ko) 2016-10-11 2016-10-11 대형 차량의 이동 객체 충돌 경고 장치 및 방법
KR10-2016-0131437 2016-10-11

Publications (1)

Publication Number Publication Date
WO2018070655A1 true WO2018070655A1 (ko) 2018-04-19

Family

ID=61830198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/008862 WO2018070655A1 (ko) 2016-10-11 2017-08-16 대형 차량의 이동 객체 충돌 경고 장치 및 방법

Country Status (4)

Country Link
US (1) US10255813B2 (ko)
JP (1) JP6424263B2 (ko)
KR (1) KR101865766B1 (ko)
WO (1) WO2018070655A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10926760B2 (en) * 2018-03-20 2021-02-23 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102087714B1 (ko) * 2018-09-17 2020-03-11 주식회사 호룡 작업차량의 주변을 감지하기 위한 객체 감지 장치 및 그 방법
CN111055849B (zh) * 2018-10-17 2021-04-06 财团法人车辆研究测试中心 基于支持向量机的路口智能驾驶方法及其系统
US11257375B2 (en) * 2018-12-31 2022-02-22 Ficosa Adas, S.L.U. Method and system for detecting objects in a vehicle blind spot
KR102184418B1 (ko) * 2019-02-21 2020-12-01 주식회사 와이즈오토모티브 사각 지대 탐색 장치 및 방법
KR102184431B1 (ko) * 2019-02-21 2020-11-30 주식회사 와이즈오토모티브 사각 지대 탐색 장치 및 방법
DE102019206424B3 (de) * 2019-05-03 2020-02-13 Volkswagen Aktiengesellschaft Verfahren zur Interaktion zwischen einem Fahrzeug und einer Person, Berührungsdetektionseinrichtung für ein Fahrzeug und Fahrzeug
CN110356392A (zh) * 2019-05-31 2019-10-22 惠州市德赛西威汽车电子股份有限公司 一种安全行驶智能辅助方法及系统
CN110901529A (zh) * 2019-12-06 2020-03-24 中国人民解放军陆军装甲兵学院士官学校 一种多轴重型车辆转弯防碰撞预警装置及预警方法
JP7268612B2 (ja) * 2020-01-20 2023-05-08 トヨタ自動車株式会社 運転支援装置
CN111267845A (zh) * 2020-03-31 2020-06-12 东风柳州汽车有限公司 一种卡车转弯风险预估规避方法及系统
KR20210153998A (ko) 2020-06-11 2021-12-20 현대자동차주식회사 차량 및 그 제어방법
CN117774962A (zh) * 2020-08-20 2024-03-29 为升科科技股份有限公司 车辆感测系统
GB2614314A (en) * 2021-12-27 2023-07-05 Daimler Ag Assistance system for a vehicle, in particular a commercial vehicle
CN115440089B (zh) * 2022-08-08 2024-04-16 山东正晨科技股份有限公司 一种雾区诱导防撞系统及方法
EP4358063A1 (en) * 2022-10-19 2024-04-24 Continental Autonomous Mobility Germany GmbH Blind spot detection control apparatus and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001315601A (ja) * 2000-05-09 2001-11-13 Nec Corp 車両側面監視装置
JP2005309797A (ja) * 2004-04-22 2005-11-04 Nissan Motor Co Ltd 歩行者警報装置
KR20130026933A (ko) * 2011-09-06 2013-03-14 현대모비스 주식회사 차량 충돌 방지 장치와 방법
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
JP2016151771A (ja) * 2015-02-16 2016-08-22 修一 田山 自動車における近接体警報知装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58185352A (ja) 1982-04-23 1983-10-29 Hitachi Ltd 自動車近傍障害物検知装置
JP3064587B2 (ja) * 1991-10-17 2000-07-12 いすゞ自動車株式会社 車両の巻込事故防止装置
US20060269105A1 (en) * 2005-05-24 2006-11-30 Langlinais Ashton L Methods, Apparatus and Products for Image Capture
JP2009122917A (ja) * 2007-11-14 2009-06-04 Tokai Rika Co Ltd 車両走行支援装置
JP2010244128A (ja) 2009-04-01 2010-10-28 Hino Motors Ltd 大型車両用安全運転支援装置
JP5257274B2 (ja) 2009-06-30 2013-08-07 住友電気工業株式会社 移動体検出装置、移動体検出方法及びコンピュータプログラム
JP2013196454A (ja) * 2012-03-21 2013-09-30 Honda Elesys Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
US9299159B2 (en) * 2012-11-09 2016-03-29 Cyberlink Corp. Systems and methods for tracking objects
KR20150019856A (ko) * 2013-08-16 2015-02-25 삼성전기주식회사 주행안전 지원 시스템 및 주행안전 지원 방법
SE537621C2 (sv) 2013-09-10 2015-08-11 Scania Cv Ab Detektering av objekt genom användning av en 3D-kamera och en radar
JP2016051371A (ja) 2014-09-01 2016-04-11 株式会社ワーテックス 巻き込み防止警報装置
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
KR101604447B1 (ko) * 2015-05-26 2016-03-28 주식회사 피엘케이 테크놀로지 선행차량 추돌 경보 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001315601A (ja) * 2000-05-09 2001-11-13 Nec Corp 車両側面監視装置
JP2005309797A (ja) * 2004-04-22 2005-11-04 Nissan Motor Co Ltd 歩行者警報装置
KR20130026933A (ko) * 2011-09-06 2013-03-14 현대모비스 주식회사 차량 충돌 방지 장치와 방법
JP2016151771A (ja) * 2015-02-16 2016-08-22 修一 田山 自動車における近接体警報知装置
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10926760B2 (en) * 2018-03-20 2021-02-23 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product

Also Published As

Publication number Publication date
KR20180040183A (ko) 2018-04-20
US20180102055A1 (en) 2018-04-12
KR101865766B1 (ko) 2018-06-11
JP6424263B2 (ja) 2018-11-14
US10255813B2 (en) 2019-04-09
JP2018063708A (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
WO2018070655A1 (ko) 대형 차량의 이동 객체 충돌 경고 장치 및 방법
KR101955506B1 (ko) 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
US7436982B2 (en) Vehicle surroundings monitoring apparatus
US9349070B2 (en) Vehicle external environment recognition device
WO2016190555A1 (ko) 선행차량 추돌 경보 장치 및 방법
JP2002308030A (ja) 車両用周辺監視装置
JP2003150938A (ja) 画像認識装置
JP7127597B2 (ja) 監視装置
WO2018097595A1 (ko) 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
CN108725365A (zh) 一种实现夜间行车安全监控的摄像头系统及方法
US20170024623A1 (en) Surrounding environment recognition device
WO2018190362A1 (ja) 車両周囲の歩行者を検出する方法及び装置
JP2006236094A (ja) 障害物認識システム
JP4813304B2 (ja) 車両周辺監視装置
US11679769B2 (en) Traffic signal recognition method and traffic signal recognition device
US10572967B2 (en) Image data processing circuit and imaging circuit
WO2022131786A1 (ko) 운전자 보조 시스템 및 그 제어 방법
KR20140054922A (ko) 전방 차량 인식 방법 및 장치
JP2004348645A (ja) 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
JP7042604B2 (ja) 運転支援装置、及び運転支援方法
JP2023052713A (ja) 撮像装置、撮像システム及び撮像方法
JP5479438B2 (ja) 車両周辺監視装置
US10951811B2 (en) Control device, control method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17860956

Country of ref document: EP

Kind code of ref document: A1