KR102467632B1 - Vehicle rear detection device and method - Google Patents

Vehicle rear detection device and method Download PDF

Info

Publication number
KR102467632B1
KR102467632B1 KR1020200157720A KR20200157720A KR102467632B1 KR 102467632 B1 KR102467632 B1 KR 102467632B1 KR 1020200157720 A KR1020200157720 A KR 1020200157720A KR 20200157720 A KR20200157720 A KR 20200157720A KR 102467632 B1 KR102467632 B1 KR 102467632B1
Authority
KR
South Korea
Prior art keywords
vehicle
start signal
specific time
driving
detection
Prior art date
Application number
KR1020200157720A
Other languages
Korean (ko)
Other versions
KR20220072008A (en
Inventor
이창건
조영은
박성현
최진
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020200157720A priority Critical patent/KR102467632B1/en
Publication of KR20220072008A publication Critical patent/KR20220072008A/en
Application granted granted Critical
Publication of KR102467632B1 publication Critical patent/KR102467632B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/06Rear-view mirror arrangements mounted on vehicle exterior
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • B60Y2300/12Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 후방 감지 장치 및 방법에 관한 것으로, 상기 장치는 차량의 전방을 촬영하고 상기 차량의 주행 중인 차선을 검출하는 전면 카메라 모듈; 양쪽 사이드 미러들 각각에 설치되고 촬영 개시 신호를 수신하여 제1 특정 시간 동안 상기 차량의 후방 바깥 방향으로 주행 중 후측방 영상을 촬영하는 사이드 카메라 모듈; 상기 차량의 후방 측면에 각각 설치되고 감지 개시 신호를 수신하여 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량의 존재를 검출하는 사이드 차량 감지모듈; 및 상기 전면 카메라 모듈을 통해 상기 주행 중인 차선의 이탈을 검출하거나 또는 상기 차량의 방향지시조작을 검출하여 상기 감지 개시 신호를 생성하고, 상기 사이드 차량의 존재가 검출되면 상기 촬영 개시 신호를 생성하는 차량 제어모듈을 포함한다.The present invention relates to an apparatus and method for detecting the rear of a vehicle, the apparatus comprising: a front camera module for photographing the front of the vehicle and detecting a lane in which the vehicle is driving; a side camera module installed on each of the side mirrors and receiving a shooting start signal and taking a rear side image while the vehicle is driving in a rearward outward direction for a first specific time period; a side vehicle detection module installed on the rear side of the vehicle and detecting the presence of a side vehicle approaching from outside the rear of the vehicle for a second specific time by receiving a detection start signal; and a vehicle configured to generate the detection start signal by detecting deviation from the driving lane or direction instruction operation of the vehicle through the front camera module, and generating the photographing start signal when the presence of the side vehicle is detected. Includes control module.

Description

차량 후방 감지 장치 및 방법{VEHICLE REAR DETECTION DEVICE AND METHOD}Vehicle rear detection device and method {VEHICLE REAR DETECTION DEVICE AND METHOD}

본 발명은 차량 후방 감지 기술에 관한 것으로, 보다 상세하게는 차량 측면 거울에 장착된 감지 장치를 통해 얻은 정보를 시각화하여 차량 내부의 단말기에 출력함으로써 운전자의 주행을 보조하는 차량 후방 감지 장치 및 방법에 관한 것이다.The present invention relates to a technology for detecting the rear of a vehicle, and more particularly, to an apparatus and method for detecting the rear of a vehicle that assists a driver's driving by visualizing information obtained through a detection device mounted on a side mirror of a vehicle and outputting it to a terminal inside the vehicle. it's about

차량에 탑재되는 다양한 시스템으로 인해 운전자의 편이성이 향상되었으며 주행 중인 운전자를 더 안전하게 보호할 수 있게 되었다. 그러나, 운전자의 편이에도 불구하고 여전히 차량 운전은 운전자의 생명을 위협할 수 있는 다양한 상황을 발생시킬 수 있다.Various systems installed in vehicles have improved the driver's convenience and made it possible to more safely protect the driver while driving. However, despite the driver's convenience, vehicle driving may still cause various situations that may threaten the driver's life.

따라서, 운전자의 주행을 도울 수 있는 다양한 기술들이 개발되고 있으며, 구체적으로 다음과 같은 기술이 최근에 적용되고 있다.Accordingly, various technologies capable of assisting the driver's driving are being developed, and specifically, the following technologies have recently been applied.

후측방 경보 시스템(BSD, Blind Spot Detection)은 최근의 차종에 탑재된 시스템으로 후측방에 차량이 감지되는 경우, 운전자에게 경고음 혹은 사이드 미러에 표시등을 등화하도록 구현되었다. 후측방 모니터(Blind-spot View Monitor)는 BMW, 현대 등의 최신 차종에 탑재된 시스템으로 차량의 후측방경에 장착한 고해상도 카메라를 통해 운전자가 방향지시등을 켜면 해당 방향의 화면을 출력하도록 구현되었다.Blind Spot Detection (BSD) is a system installed in recent vehicle models and implemented to sound a warning to the driver or turn on lights on side mirrors when a vehicle is detected from the rear side. Blind-spot View Monitor is a system installed in the latest models of vehicles such as BMW and Hyundai, and is implemented to output a screen in the corresponding direction when the driver turns on the turn signal through a high-resolution camera mounted on the rear side view of the vehicle. .

다만, 이러한 기술들은 최신 차종에만 적용되는 것으로 기존의 차량들에 적용하기 어렵고 설치에 많은 비용이 들어가는 문제점을 가지고 있다.However, these technologies are applied only to the latest models and have a problem in that they are difficult to apply to existing vehicles and require a lot of cost for installation.

한국등록특허 제10-0775369호 (2007.11.05)Korean Patent Registration No. 10-0775369 (2007.11.05)

본 발명의 일 실시예는 차량 측면 거울에 장착된 감지 장치를 통해 얻은 정보를 시각화하여 차량 내부의 단말기에 출력함으로써 운전자의 주행을 보조하는 차량 후방 감지 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an apparatus and method for detecting the rear of a vehicle that assists a driver's driving by visualizing information obtained through a detection device mounted on a side mirror of a vehicle and outputting the visualized information to a terminal inside the vehicle.

본 발명의 일 실시예는 최신 차종은 물론 오래된 차종에서도 쉽게 적용할 수 있고 측후방 차량과의 거리를 측정하여 시각화된 정보를 제공함으로써 운전자의 판단에 도움을 줄 수 있는 차량 후방 감지 장치 및 방법을 제공하고자 한다.An embodiment of the present invention provides an apparatus and method for detecting the rear of a vehicle that can be easily applied to old as well as newer vehicle models and can help a driver's judgment by measuring the distance from a vehicle to the side and rear and providing visualized information. want to provide

실시예들 중에서, 차량 후방 감지 장치는 차량의 전방을 촬영하고 상기 차량의 주행 중인 차선을 검출하는 전면 카메라 모듈; 양쪽 사이드 미러들 각각에 설치되고 촬영 개시 신호를 수신하여 제1 특정 시간 동안 상기 차량의 후방 바깥 방향으로 주행 중 후측방 영상을 촬영하는 사이드 카메라 모듈; 상기 차량의 후방 측면에 각각 설치되고 감지 개시 신호를 수신하여 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량의 존재를 검출하는 사이드 차량 감지모듈; 및 상기 전면 카메라 모듈을 통해 상기 주행 중인 차선의 이탈을 검출하거나 또는 상기 차량의 방향지시조작을 검출하여 상기 감지 개시 신호를 생성하고, 상기 사이드 차량의 존재가 검출되면 상기 촬영 개시 신호를 생성하는 차량 제어모듈을 포함한다.Among the embodiments, the vehicle rear detection device includes a front camera module for photographing the front of the vehicle and detecting a driving lane of the vehicle; a side camera module installed on each of the side mirrors and receiving a shooting start signal and taking a rear side image while the vehicle is driving in a rearward outward direction for a first specific time period; a side vehicle detection module installed on the rear side of the vehicle and detecting the presence of a side vehicle approaching from outside the rear of the vehicle for a second specific time by receiving a detection start signal; and a vehicle configured to generate the detection start signal by detecting deviation from the driving lane or direction instruction operation of the vehicle through the front camera module, and generating the photographing start signal when the presence of the side vehicle is detected. Includes control module.

상기 사이드 카메라 모듈은 상기 차량의 주행 속도에 따라 반비례하도록 상기 제1 특정 시간을 결정할 수 있다.The side camera module may determine the first specific time to be in inverse proportion to the driving speed of the vehicle.

상기 사이드 카메라 모듈은 상기 제1 특정 시간이 경과한 경우라도 상기 사이드 차량의 접근이 점점 가까워지는 경우라면 상기 주행 중 후측방 영상을 계속하여 촬영할 수 있다.Even when the first specific time period has elapsed, the side camera module may continue to capture images from the rear side while driving if the approach of the side vehicle is gradually approaching.

상기 사이드 카메라 모듈은 특정 거리 이내에서 상기 사이드 차량의 접근이 점점 가까워지는 경우라면 상기 후측방 영상을 확대시킬 수 있다.The side camera module may enlarge the rear side image when the approach of the side vehicle is getting closer within a specific distance.

상기 사이드 차량 감지모듈은 ToF (Time of Flight) 센서로 구현되고 상기 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량과의 거리 및 접근 속도를 더 검출할 수 있다.The side vehicle detecting module is implemented as a Time of Flight (ToF) sensor and may further detect a distance and an approaching speed to a side vehicle approaching from outside the rear of the vehicle during the second specific time period.

상기 사이드 차량 감지모듈은 상기 차량의 주행 속도에 따라 반비례하도록 상기 제2 특정 시간을 결정할 수 있다.The side vehicle detection module may determine the second specific time to be in inverse proportion to the driving speed of the vehicle.

상기 사이드 차량 감지모듈은 상기 제2 특정 시간이 경과한 경우라도 상기 사이드 차량의 접근이 점점 가까워지는 경우라면 상기 사이드 차량의 존재, 거리 및 접근 속도를 계속 검출할 수 있다.The side vehicle detection module may continue to detect the presence, distance, and approaching speed of the side vehicle if the side vehicle approaches gradually even when the second specific time has elapsed.

상기 사이드 차량 감지모듈은 상기 사이드 차량이 인접 옆 차선이 아닌 옆 차선에 존재하는 경우에는 상기 제2 특정 시간을 연장하지 않을 수 있다.The side vehicle detection module may not extend the second specific time when the side vehicle exists in an adjacent lane other than an adjacent lane.

상기 차량 제어모듈은 상기 주행 중인 차선의 이탈을 검출하는 경우에는 상기 감지 개시 신호 및 상기 촬영 개시 신호를 동시에 생성하고 차선 이탈 알람을 제공할 수 있다.The vehicle control module may simultaneously generate the detection start signal and the photographing start signal and provide a lane departure alarm when detecting departure from the driving lane.

상기 차량 제어모듈은 상기 사이드 차량의 존재 및 영상을 상기 차량의 AVN (Audio Video Navigation) 기기에 어라운드 뷰 방식으로 출력하면서 상기 차량의 이동 방향을 시각화 하여 디스플레이 할 수 있다.The vehicle control module may visualize and display the moving direction of the vehicle while outputting the presence and image of the side vehicle to an AVN (Audio Video Navigation) device of the vehicle in an around-view method.

상기 차량 제어모듈은 상기 사이드 차량의 존재가 충돌 가능 거리 이내에서 검출되면 상기 촬영 개시 신호의 생성 이전에 가상의 어라운드 뷰를 생성하여 상기 차량의 AVN 기기에 제공할 수 있다.When the existence of the side vehicle is detected within a possible collision distance, the vehicle control module may generate a virtual around view and provide it to the AVN device of the vehicle before generating the shooting start signal.

실시예들 중에서, 차량 후방 감지 방법은 전면 카메라 모듈을 통해 상기 차량의 주행 중인 차선의 이탈을 검출하거나 또는 상기 차량의 방향지시조작을 검출하는 단계; 사이드 카메라 모듈을 통해 촬영 개시 신호가 수신되면 제1 특정 시간 동안 상기 차량의 후방 바깥 방향으로 주행 중 후측방 영상을 촬영하는 단계; 사이드 차량 감지모듈을 통해 감지 개시 신호가 수신되면 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량의 존재를 검출하는 단계; 및 차량 제어모듈을 통해 상기 사이드 차량의 존재가 검출되면 상기 사이드 차량에 관한 시각화된 영상을 생성하는 단계를 포함한다.In embodiments, a method for detecting the rear of a vehicle may include detecting departure from a lane in which the vehicle is driving or detecting operation of indicating a direction of the vehicle through a front camera module; photographing a rear side image while the vehicle is driving in a rearward outward direction for a first specific time period when a recording start signal is received through the side camera module; detecting the presence of a side vehicle approaching from the rear of the vehicle for a second specific time period when a detection start signal is received through the side vehicle detection module; and generating a visualized image of the side vehicle when the presence of the side vehicle is detected through the vehicle control module.

상기 생성하는 단계는 상기 주행 중인 차선의 이탈을 검출하는 경우에는 상기 감지 개시 신호 및 상기 촬영 개시 신호를 동시에 생성하고 차선 이탈 알람을 제공하는 단계를 포함할 수 있다.The generating may include simultaneously generating the detection start signal and the photographing start signal and providing a lane departure alarm when the driving lane departure is detected.

상기 생성하는 단계는 상기 사이드 차량의 존재 및 영상을 상기 차량의 AVN (Audio Video Navigation) 기기에 어라운드 뷰 방식으로 출력하면서 상기 차량의 이동 방향을 시각화 하여 디스플레이 하는 단계를 포함할 수 있다.The generating may include visualizing and displaying the moving direction of the vehicle while outputting the presence and image of the side vehicle to an AVN (Audio Video Navigation) device of the vehicle in an around-view method.

상기 생성하는 단계는 상기 사이드 차량의 존재가 충돌 가능 거리 이내에서 검출되면 상기 촬영 개시 신호의 생성 이전에 가상의 어라운드 뷰를 생성하여 상기 차량의 AVN 기기에 제공하는 단계를 포함할 수 있다.The generating may include generating a virtual around view before generating the shooting start signal and providing the virtual around view to an AVN device of the vehicle when the presence of the side vehicle is detected within a possible collision distance.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, it does not mean that a specific embodiment must include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.

본 발명에 따른 차량 후방 감지 장치 및 방법은 차량 측면 거울에 장착된 감지 장치를 통해 얻은 정보를 시각화하여 차량 내부의 단말기에 출력함으로써 운전자의 주행을 보조할 수 있다.An apparatus and method for detecting the rear of a vehicle according to the present invention visualizes information obtained through a detection device mounted on a side mirror of a vehicle and outputs the visualized information to a terminal inside the vehicle, thereby assisting the driving of the driver.

본 발명에 따른 차량 후방 감지 장치 및 방법은 최신 차종은 물론 오래된 차종에서도 쉽게 적용할 수 있고 측후방 차량과의 거리를 측정하여 시각화된 정보를 제공함으로써 운전자의 판단에 도움을 줄 수 있다.The apparatus and method for detecting the rear of a vehicle according to the present invention can be easily applied to old as well as newer vehicle models, and can help a driver's judgment by providing visualized information by measuring a distance from a vehicle to the side and rear.

도 1은 본 발명에 따른 차량 후방 감지 시스템을 설명하는 도면이다.
도 2는 도 1의 후방 감지 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 후방 감지 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 차량 후방 감지 과정을 설명하는 순서도이다.
도 5는 본 발명에 따른 시스템 구성도의 일 실시예를 설명하는 도면이다.
도 6은 본 발명에 따른 시스템 동작의 일 실시예를 설명하는 도면이다.
도 7은 본 발명의 구성 및 동작의 일 실시예를 설명하는 도면이다.
1 is a diagram illustrating a vehicle rear detection system according to the present invention.
FIG. 2 is a diagram illustrating a system configuration of the rear detection device of FIG. 1 .
FIG. 3 is a diagram illustrating a functional configuration of the rear detection device of FIG. 1 .
4 is a flowchart illustrating a process of detecting the rear of a vehicle according to the present invention.
5 is a diagram for explaining an embodiment of a system configuration diagram according to the present invention.
6 is a diagram illustrating one embodiment of system operation according to the present invention.
7 is a diagram for explaining an embodiment of the configuration and operation of the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, the scope of the present invention should not be construed as being limited thereto.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in this application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that no intervening elements exist. Meanwhile, other expressions describing the relationship between components, such as “between” and “immediately between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions in the singular number should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “having” refer to an embodied feature, number, step, operation, component, part, or these. It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step clearly follows a specific order in context. Unless otherwise specified, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all types of recording devices storing data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as consistent with meanings in the context of the related art, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present application.

도 1은 본 발명에 따른 차량 후방 감지 시스템을 설명하는 도면이다.1 is a diagram illustrating a vehicle rear detection system according to the present invention.

도 1을 참조하면, 차량 후방 감지 시스템(100)은 차량(110), 후방 감지 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1 , the vehicle rear detection system 100 may include a vehicle 110 , a rear detection device 130 and a database 150 .

차량(110)은 엔진에 의해 생산된 동력을 이용하여 승객이나 화물을 운반하는 교통수단으로서 대표적인 예로서 자동차에 해당할 수 있다. 또한, 차량(110)은 자동차에 한정되지 않고, 선박 및 비행기 등 동력을 이용하여 움직일 수 있는 다양한 운송 수단을 포함하는 개념으로 이해될 수 있다. 일 실시예에서, 차량(110)은 후방 감지 장치(130)와 네트워크를 통해 연결될 수 있다. 이 경우, 차량(110)에 설치된 감지 모듈 및 카메라 모듈은 각각 후방 감지 장치(130)의 논리적인 구성요소로 정의될 수 있으며, 후방 감지 장치(130)는 차량(110)을 통해 감지 모듈 및 카메라 모듈과 통신하는 것으로 이해될 수 있으나, 반드시 이에 한정되지 않음은 물론이다.The vehicle 110 is a means of transportation that transports passengers or cargo using power generated by an engine, and may correspond to a car as a representative example. In addition, the vehicle 110 is not limited to automobiles, and may be understood as a concept including various means of transportation capable of moving using power, such as ships and airplanes. In one embodiment, the vehicle 110 may be connected to the rear sensing device 130 through a network. In this case, the sensing module and the camera module installed in the vehicle 110 may each be defined as a logical component of the rear sensing device 130, and the rear sensing device 130 is configured to detect the module and the camera through the vehicle 110. It may be understood as communicating with the module, but is not necessarily limited thereto.

일 실시예에서, 차량(110)은 자율주행 기능을 포함하여 구현될 수 있고, 이 경우 자율주행을 위한 다양한 센서들을 포함할 수 있다. 예를 들어, 차량(110)은 가속 페달 센서, 브레이크 페달 센서, 휠 가속도 센서, 차체 가속도 센서, 차체 진동 센서, GPS(Global Positioning System) 센서 및 조향각 센서 등을 포함할 수 있다.In one embodiment, the vehicle 110 may be implemented with an autonomous driving function, and in this case, may include various sensors for autonomous driving. For example, the vehicle 110 may include an accelerator pedal sensor, a brake pedal sensor, a wheel acceleration sensor, a vehicle body acceleration sensor, a vehicle body vibration sensor, a Global Positioning System (GPS) sensor, a steering angle sensor, and the like.

후방 감지 장치(130)는 차량(110)의 후방 영역에 관한 정보를 생성하여 운전자에게 제공함으로써 운전자의 안전한 운행을 지원할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 후방 감지 장치(130)는 차량(110)과 무선 네트워크로 연결될 수 있고, 네트워크를 통해 차량(110)과 데이터를 송·수신할 수 있다. 또한, 후방 감지 장치(130)는 필요에 따라 추가 기능을 제공하기 위한 독립적인 서버를 포함하여 구현될 수 있다. 이 경우, 후방 감지 장치(130)는 휴대 또는 장착 가능한 컴퓨팅 장치로서 구현될 수 있으며, 서버와의 연동을 통해 관련 동작을 수행할 수도 있다.The rear detection device 130 may be implemented as a server corresponding to a computer or program capable of supporting the driver's safe driving by generating information about the rear area of the vehicle 110 and providing the information to the driver. The rear detection device 130 may be connected to the vehicle 110 through a wireless network, and may transmit/receive data with the vehicle 110 through the network. In addition, the rear detection device 130 may be implemented by including an independent server to provide additional functions as needed. In this case, the rear detection device 130 may be implemented as a portable or mountable computing device, and may perform related operations through interworking with a server.

데이터베이스(150)는 후방 감지 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 차량(110)의 주행에 필요한 데이터를 저장할 수 있고, 차량(110)의 후방 또는 후측방 영상을 분석하기 위한 데이터를 저장할 수 있으며, 반드시 이에 한정되지 않고, 후방 감지 장치(130)가 차량(110)의 운전자에게 제공되는 유용한 정보를 생성하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 may correspond to a storage device that stores various pieces of information necessary for the operation of the rear detection device 130 . The database 150 may store data required for driving of the vehicle 110 and may store data for analyzing an image from the rear or rear side of the vehicle 110, but is not limited thereto, and the rear detection device 130 ) may store collected or processed information in various forms in the process of generating useful information provided to the driver of the vehicle 110 .

도 2는 도 1의 후방 감지 장치의 시스템 구성을 설명하는 도면이다.FIG. 2 is a diagram illustrating a system configuration of the rear detection device of FIG. 1 .

도 2를 참조하면, 후방 감지 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the rear detection device 130 may be implemented by including a processor 210, a memory 230, a user input/output unit 250, and a network input/output unit 270.

프로세서(210)는 후방 감지 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 후방 감지 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 후방 감지 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The processor 210 may execute a procedure for processing each step in the process of the rear detection device 130 operating, and manage the memory 230 read or written throughout the process, and the memory 230 ), you can schedule the synchronization time between volatile memory and non-volatile memory. The processor 210 can control the overall operation of the rear detection device 130, and is electrically connected to the memory 230, the user input/output unit 250, and the network input/output unit 270 to control data flow between them. can The processor 210 may be implemented as a central processing unit (CPU) of the rear detection device 130 .

메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 후방 감지 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The memory 230 is implemented as a non-volatile memory such as a solid state drive (SSD) or a hard disk drive (HDD) and may include an auxiliary storage device used to store all data necessary for the rear detection device 130, It may include a main memory implemented as a volatile memory such as RAM (Random Access Memory).

사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 후방 감지 장치(130)는 독립적인 서버로서 수행될 수 있다.The user input/output unit 250 may include an environment for receiving user input and an environment for outputting specific information to the user. For example, the user input/output unit 250 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or touch screen. In one embodiment, the user input/output unit 250 may correspond to a computing device connected through a remote connection, and in such a case, the rear detection device 130 may be implemented as an independent server.

네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/output unit 270 includes an environment for connecting to an external device or system through a network, and includes, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN ( An adapter for communication such as Value Added Network) may be included.

도 3은 도 1의 후방 감지 장치의 기능적 구성을 설명하는 도면이다.FIG. 3 is a diagram illustrating a functional configuration of the rear detection device of FIG. 1 .

도 3을 참조하면, 후방 감지 장치(130)는 전면 카메라 모듈(310), 사이드 카메라 모듈(330), 사이드 차량 감지모듈(350), 차량 제어모듈(370) 및 제어모듈(390)을 포함할 수 있다.Referring to FIG. 3 , the rear detection device 130 may include a front camera module 310, a side camera module 330, a side vehicle detection module 350, a vehicle control module 370, and a control module 390. can

전면 카메라 모듈(310)은 차량(110)의 전방을 촬영하고 차량(110)의 주행 중인 차선을 검출할 수 있다. 전면 카메라 모듈(310)은 차량(110)의 전방을 향해 설치된 전면 카메라와 연동하여 전방 영상을 촬영할 수 있고, 영상 분석을 통해 차선을 검출하여 주행 중인 차선의 이탈 여부를 결정할 수 있다. 전면 카메라 모듈(310)은 주행 중인 차선의 이탈이 검출되면 차선 이탈에 관한 검출 신호를 생성할 수 있다. 한편, 전면 카메라 모듈(310)은 영상으로부터 차선을 검출하기 위해 다양한 차선 검출 알고리즘을 활용할 수 있으며, 차선 검출 연산을 수행하기 전 영상에 대한 전처리 동작을 수행할 수 있다.The front camera module 310 may photograph the front of the vehicle 110 and detect a lane in which the vehicle 110 is driving. The front camera module 310 may capture a front image in conjunction with a front camera installed toward the front of the vehicle 110, and may detect a lane through image analysis to determine whether or not to depart from the driving lane. The front camera module 310 may generate a lane departure detection signal when lane departure during driving is detected. Meanwhile, the front camera module 310 may utilize various lane detection algorithms to detect a lane from an image, and may perform a pre-processing operation on the image before performing a lane detection operation.

사이드 카메라 모듈(330)은 양쪽 사이드 미러들 각각에 설치되고 촬영 개시 신호를 수신하여 제1 특정 시간 동안 차량(110)의 후방 바깥 방향으로 주행 중 후측방 영상을 촬영할 수 있다. 사이드 카메라 모듈(330)은 양쪽 사이드 미러들 각각에 설치되는 카메라와 연동하여 동작할 수 있으며, 촬영 개시 신호에 의해 동작을 개시할 수 있다. 또한, 사이드 카메라 모듈(330)은 차량(110)의 진행에 반대되는 방향으로 설치되어 차량(110)의 후방 또는 후측방 영상을 촬영할 수 있다. 즉, 후측방 영상은 차량(110)을 기준으로 후방 방향에 관한 영상에 해당할 수 있고, 특히 차량(110)의 옆면을 기준으로 바깥 방향에 관한 영상에 해당할 수 있다. 따라서, 후측방 영상에는 주로 차량(110)이 주행 중인 차선보다 바로 옆차선에서 주행 중인 차량들이 촬영될 수 있다.The side camera module 330 is installed on each of the side mirrors and receives a recording start signal to capture a rear side image while the vehicle 110 is driving in a rearward and outward direction for a first specific time period. The side camera module 330 may operate in conjunction with cameras installed on each of the side mirrors, and may start its operation by a photographing start signal. In addition, the side camera module 330 is installed in a direction opposite to the movement of the vehicle 110 to capture an image of the rear or rear side of the vehicle 110 . That is, the posterolateral image may correspond to an image related to a rearward direction with respect to the vehicle 110, and may correspond to an image related to an outward direction based on the side surface of the vehicle 110. Accordingly, vehicles driving in a lane right next to the lane in which the vehicle 110 is driving may be captured in the rear side image.

일 실시예에서, 사이드 카메라 모듈(330)은 차량(110)의 주행 속도에 따라 반비례하도록 제1 특정 시간을 결정할 수 있다. 사이드 카메라 모듈(330)은 상시 동작하도록 구현될 수도 있으나, 여기에서는 제1 특정 시간 동안만 일시적으로 동작하도록 구현될 수 있다. 특히, 제1 특정 시간은 차량(110)의 주행 속도가 빠를수록 짧아지도록 설정될 수 있다. 이는 차량(110)의 주행 속도가 빠를수록 보다 짧은 주기로 자주 영상을 촬영하여 정보 갱신을 수행하는 것이 더욱 효과적인 점을 고려한 것이다.In one embodiment, the side camera module 330 may determine the first specific time to be in inverse proportion to the driving speed of the vehicle 110 . The side camera module 330 may be implemented to always operate, but may be implemented to temporarily operate only for a first specific time period. In particular, the first specific time period may be set to be shorter as the driving speed of the vehicle 110 increases. This is in consideration of the fact that it is more effective to perform information update by capturing images frequently at a shorter period as the driving speed of the vehicle 110 increases.

일 실시예에서, 사이드 카메라 모듈(330)은 제1 특정 시간이 경과한 경우라도 사이드 차량의 접근이 점점 가까워지는 경우라면 주행 중 후측방 영상을 계속하여 촬영할 수 있다. 한편, 사이드 카메라 모듈(330)은 기본적으로 각 촬영 개시 신호가 수신될 때마다 기 설정된 제1 특정 시간 동안 후측방 영상을 촬영할 수 있다. 다만, 제1 특정 시간이 경과한 경우라 하더라도 사이드 차량, 즉 주행 중인 차량(110)의 옆차선에서 접근하는 차량(110)이 존재하고 사이드 차량과의 거리가 점점 가까워지는 경우 후측방 영상에 대한 촬영을 계속할 수 있다.In one embodiment, the side camera module 330 may continue to capture rear side images while driving if the approach of the side vehicle is gradually approaching even when the first specific time period has elapsed. Meanwhile, the side camera module 330 may basically capture a posterolateral image for a predetermined first specific time whenever each shooting start signal is received. However, even when the first specific time has elapsed, when there is a side vehicle, that is, a vehicle 110 approaching from the lane next to the vehicle 110 in motion, and the distance to the side vehicle gradually decreases, for the rear side image You can continue filming.

일 실시예에서, 사이드 카메라 모듈(330)은 특정 거리 이내에서 사이드 차량의 접근이 점점 가까워지는 경우라면 후측방 영상을 확대시킬 수 있다. 예를 들어, 사이드 카메라 모듈(330)은 사이드 차량과의 거리가 계속 줄어들어 기 설정된 임계거리 이내로 줄어든 경우 후측방 영상을 확대하여 해당 사이드 차량이 영상의 중앙에 위치하도록 포커스를 자동으로 조절할 수 있다.In one embodiment, the side camera module 330 may enlarge the rear side image if the approach of the side vehicle is getting closer within a specific distance. For example, the side camera module 330 may automatically adjust the focus so that the side vehicle is located in the center of the image by enlarging the rearward image when the distance to the side vehicle is continuously reduced to within a preset threshold distance.

사이드 차량 감지모듈(350)은 차량(110)의 후방 측면에 각각 설치되고 감지 개시 신호를 수신하여 제2 특정 시간 동안 차량(110)의 후방 바깥에서 접근되는 사이드 차량의 존재를 검출할 수 있다. 사이드 차량 감지모듈(350)은 사이드 카메라 모듈(330)과 함께 주행 중인 차량(110)의 후측방에 대한 정보를 수집하는 역할을 수행할 수 있다. 즉, 사이드 차량 감지모듈(350)은 주행 중인 차량(110)의 후측방 방향에서 사이드 차량의 존재를 검출할 수 있으며, 이를 위하여 차량(110)의 후측방 방향에 설치된 다양한 센서들과 연동하여 동작할 수 있다.The side vehicle detection module 350 is installed on each rear side of the vehicle 110 and receives a detection start signal to detect the presence of a side vehicle approaching from outside the rear of the vehicle 110 for a second specific time period. The side vehicle detection module 350 may serve to collect information on the rear side of the driving vehicle 110 together with the side camera module 330 . That is, the side vehicle detection module 350 may detect the presence of a side vehicle in the rearward direction of the vehicle 110 in motion, and for this purpose operates in conjunction with various sensors installed in the rearward direction of the vehicle 110. can do.

일 실시예에서, 사이드 차량 감지모듈(350)은 ToF (Time of Flight) 센서로 구현되고 제2 특정 시간 동안 차량(110)의 후방 바깥에서 접근되는 사이드 차량과의 거리 및 접근 속도를 더 검출할 수 있다. 적외선 또는 레이저 기반의 ToF (Time of Flight) 센서를 통해 구현될 수 있다. ToF 센서는 적외선 또는 레이저 파장을 송출한 후 특정 물체로부터 반사되어 돌아오는 신호의 수신까지 걸리는 시간을 측정하여 피사체와의 거리를 측정하는 센서에 해당할 수 있다. 사이드 차량 감지모듈(350)은 ToF 센서로부터 수신한 측정값을 기초로 사이드 차량 거리를 산출할 수 있고, 차량(110)의 속도, 사이드 차량과의 거리 변화를 기초로 사이드 차량의 접근 속도를 산출할 수 있다.In one embodiment, the side vehicle detection module 350 is implemented as a Time of Flight (ToF) sensor and further detects a distance and an approaching speed to a side vehicle approaching from outside the rear of the vehicle 110 for a second specific time period. can It can be implemented through an infrared or laser-based Time of Flight (ToF) sensor. The ToF sensor may correspond to a sensor that measures the distance to a subject by measuring the time required to receive a signal that is reflected from a specific object after transmitting infrared or laser wavelengths. The side vehicle detection module 350 may calculate the side vehicle distance based on the measurement value received from the ToF sensor, and calculate the approaching speed of the side vehicle based on a change in the speed of the vehicle 110 and the distance to the side vehicle. can do.

일 실시예에서, 사이드 차량 감지모듈(350)은 차량(110)의 주행 속도에 따라 반비례하도록 제2 특정 시간을 결정할 수 있다. 사이드 차량 감지모듈(350)은 주기적으로 동작하여 사이드 차량의 존재를 검출할 수 있고, 사이드 차량의 존재가 검출되면 사이드 차량과의 거리 및 접근 속도를 산출할 수 있다. 즉, 제2 특정 시간은 사이드 차량 감지모듈(350)의 동작 주기에 해당할 수 있으며, 차량 제어모듈(370)에 의해 자동 설정되거나 후방 감지 장치(130)에 의해 사전에 설정될 수 있다. 또한, 제2 특정 시간은 제1 특정 시간과 동기화되어 동적으로 변경될 수 있으며, 한편으로는 차량(110)의 주행 속도에 반비례하여 자동 변경될 수도 있다.In one embodiment, the side vehicle detection module 350 may determine the second specific time to be in inverse proportion to the driving speed of the vehicle 110 . The side vehicle detection module 350 may operate periodically to detect the presence of a side vehicle, and when the presence of a side vehicle is detected, the distance and approaching speed to the side vehicle may be calculated. That is, the second specific time may correspond to the operation period of the side vehicle detection module 350, and may be automatically set by the vehicle control module 370 or set in advance by the rear detection device 130. Also, the second specific time may be dynamically changed in synchronization with the first specific time, and may also be automatically changed in inverse proportion to the driving speed of the vehicle 110 .

일 실시예에서, 사이드 차량 감지모듈(350)은 제2 특정 시간이 경과한 경우라도 사이드 차량의 접근이 점점 가까워지는 경우라면 사이드 차량의 존재, 거리 및 접근 속도를 계속 검출할 수 있다. 사이드 차량 감지모듈(350)은 기본적으로 각 감지 개시 신호마다 사이드 차량의 존재를 검출하는 동작을 수행할 수 있으나, 만약 사이드 차량의 접근이 점점 가까워지는 경우라면 제2 특정 시간이 경과된 이후에도 해당 동작을 계속 수행할 수 있다. 즉 사이드 차량이 계속 가까워지는 경우라면 주행 중인 차량(110)에게는 위험 요소로 작용할 수 있으며, 이에 대한 구체적인 정보를 계속적으로 수집할 필요가 있다.In one embodiment, the side vehicle detecting module 350 may continue to detect the existence, distance, and approaching speed of the side vehicle if the side vehicle approaches gradually even when the second specific time has elapsed. The side vehicle detection module 350 may basically perform an operation of detecting the presence of a side vehicle for each detection start signal, but if the side vehicle approaches gradually, the corresponding operation even after the lapse of the second specific time can continue to do. That is, if the side vehicle continues to approach, it may act as a risk factor to the driving vehicle 110, and it is necessary to continuously collect specific information about this.

일 실시예에서, 사이드 차량 감지모듈(350)은 사이드 차량이 인접 옆 차선이 아닌 옆 차선에 존재하는 경우에는 제2 특정 시간을 연장하지 않을 수 있다. 여기에서, 인접 옆 차선은 현재 차량(110)이 주행 중인 차선의 바로 옆 차선에 해당할 수 있고, 옆 차선은 현재 차량(110)이 주행 중인 차선을 기준으로 주변 차선들에 해당할 수 있다. 사이드 차량 감지모듈(350)은 사이드 차량이 점점 가까워지는 경우라 하더라도 해당 사이드 차량이 인접 옆 차선이 아닌 옆 차선에서 주행 중인 경우라면 제2 특정 시간의 경과로 감지 동작을 종료하고 다음 감지 개시 신호를 대기할 수 있다.In one embodiment, the side vehicle detection module 350 may not extend the second specific time when the side vehicle exists in the next lane other than the adjacent lane. Here, the adjacent next lane may correspond to the lane right next to the lane in which the vehicle 110 is currently driving, and the next lane may correspond to lanes adjacent to the lane in which the vehicle 110 is currently driving. Even if the side vehicle is getting closer, the side vehicle detection module 350 terminates the detection operation after the lapse of the second specific time and sends the next detection start signal if the corresponding side vehicle is driving in the next lane rather than the adjacent lane. can wait

차량 제어모듈(370)은 전면 카메라 모듈(310)을 통해 주행 중인 차선의 이탈을 검출하거나 또는 차량(110)의 방향지시조작을 검출하여 감지 개시 신호를 생성하고, 사이드 차량의 존재가 검출되면 촬영 개시 신호를 생성할 수 있다. 차량 제어모듈(370)은 차량의 후측방 영상을 촬영하거나 후측방에 접근하는 사이드 차량의 존재를 검출하기 위한 동작의 개시를 결정할 수 있고, 해당 동작들을 실행하도록 개시 명령을 생성할 수 있다. 차량 제어모듈(370)은 차량(110)의 주행 중에 위험 상황 발생 확률이 높은 상태, 예를 들어, 차선을 변경하기 위해 방향지시조작을 하거나 또는 차선의 이탈이 발생한 경우 차량(110)의 주변 상황에 관한 정보 수집을 위해 감지 개시 신호 또는 촬영 개시 신호를 생성할 수 있다.The vehicle control module 370 generates a detection start signal by detecting departure from the driving lane or direction instruction operation of the vehicle 110 through the front camera module 310, and takes pictures when the presence of a side vehicle is detected. An initiation signal can be generated. The vehicle control module 370 may determine the initiation of an operation for capturing an image of the rear side of the vehicle or detecting the presence of a side vehicle approaching the rear side, and may generate a start command to execute the corresponding operations. The vehicle control module 370 controls the environment around the vehicle 110 in a state in which there is a high probability of occurrence of a dangerous situation while the vehicle 110 is driving, for example, when a direction instruction is operated to change a lane or a lane departure occurs. A detection start signal or a recording start signal may be generated to collect information about.

일 실시예에서, 차량 제어모듈(370)은 주행 중인 차선의 이탈을 검출하는 경우에는 감지 개시 신호 및 촬영 개시 신호를 동시에 생성하고 차선 이탈 알람을 제공할 수 있다. 차선의 이탈이 발생하는 경우 후측방의 상황이 차량(110)의 주행에 매우 중요한 상황이므로 이에 대한 정보 수집을 위해 감지 개시 신호와 촬영 개시 신호를 동시에 생성하여 후측방 영상 획득과 후측방에서 사이드 차량의 존재를 검출하도록 제어할 수 있다.In an embodiment, the vehicle control module 370 may simultaneously generate a detection start signal and a photographing start signal and provide a lane departure alarm when detecting lane departure during driving. When lane departure occurs, the situation in the rear side is very important to the driving of the vehicle 110. To collect this information, a detection start signal and a recording start signal are generated at the same time to acquire the rear side image and the side vehicle in the rear side. can be controlled to detect the presence of

일 실시예에서, 차량 제어모듈(370)은 사이드 차량의 존재 및 영상을 차량(110)의 AVN (Audio Video Navigation) 기기에 어라운드 뷰 방식으로 출력하면서 차량(110)의 이동 방향을 시각화 하여 디스플레이 할 수 있다. 차량 제어모듈(370)은 사이드 카메라 모듈(330) 및 사이드 차량 감지모듈(350)을 통해 획득한 정보를 사용자 단말을 통해 운전자에게 제공할 수 있다. 이때, 사용자 단말은 사용자가 사용하는 스마트폰 또는 차량(110)에 설치된 단말을 포함할 수 있다. 특히, 차량 제어모듈(370)은 차량(110)의 AVN 시스템을 이용하여 내비게이션 화면에 어라운드 뷰 방식으로 시각화된 정보를 제공할 수 있다. 이때, 단순히 후측방 영상을 그대로 재생하는데 그치지 않고, 시각화된 정보로서 차량(110)의 이동 방향 또는 후측방에서 사이드 차량이 접근하는 방향 등을 표시할 수 있다.In one embodiment, the vehicle control module 370 visualizes and displays the moving direction of the vehicle 110 while outputting the presence and image of the side vehicle to the AVN (Audio Video Navigation) device of the vehicle 110 in an around view manner. can The vehicle control module 370 may provide information acquired through the side camera module 330 and the side vehicle detection module 350 to the driver through the user terminal. In this case, the user terminal may include a smartphone used by the user or a terminal installed in the vehicle 110 . In particular, the vehicle control module 370 may use the AVN system of the vehicle 110 to provide visualized information on the navigation screen in an around view manner. In this case, the moving direction of the vehicle 110 or the approaching direction of the side vehicle from the rear side may be displayed as visualized information, rather than simply reproducing the rear side image.

일 실시예에서, 차량 제어모듈(370)은 사이드 차량의 존재가 충돌 가능 거리 이내에서 검출되면 촬영 개시 신호의 생성 이전에 가상의 어라운드 뷰를 생성하여 차량(110)의 AVN 기기에 제공할 수 있다. 한편, 충돌 가능 거리는 차량(110) 속도와 사이드 차량의 접근 속도를 기초로 동적으로 산출될 수 있다. 차량 제어모듈(370)은 충돌 가능 거리 이내에서 사이드 차량의 존재가 갑작스럽게 검출된 경우 후측방 영상을 촬영하기 위해 촬영 개시 신호를 생성할 수 있으며, 위급 상황인 점에서 차량(110)의 현재 상황에 관한 어라운드 뷰를 가상으로 생성하여 AVN 기기의 화면에 표시할 수 있다. 즉, 가상의 어라운드 뷰는 운전자의 관심을 집중시키기 위하여 실제 촬영된 후측방 영상이 표시되기 전까지의 순간동안 제공되는 예비적인 시각화 정보에 해당할 수 있다.In one embodiment, the vehicle control module 370 may generate a virtual around view and provide it to the AVN device of the vehicle 110 before generating a shooting start signal when the presence of a side vehicle is detected within a collision possible distance. . Meanwhile, the possible collision distance may be dynamically calculated based on the speed of the vehicle 110 and the approaching speed of the side vehicle. The vehicle control module 370 may generate a recording start signal to capture a rear-side image when the presence of a side vehicle is suddenly detected within a collision possible distance, and the current situation of the vehicle 110 in an emergency situation. An around view about can be virtually created and displayed on the screen of the AVN device. That is, the virtual around view may correspond to preliminary visualization information provided for a moment until an actually captured posterolateral image is displayed in order to focus the driver's attention.

제어모듈(390)은 후방 감지 장치(130)의 전체적인 동작을 제어하고, 전면 카메라 모듈(310), 사이드 카메라 모듈(330), 사이드 차량 감지모듈(350) 및 차량 제어모듈(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The control module 390 controls the overall operation of the rear detection device 130, and the control flow between the front camera module 310, the side camera module 330, the side vehicle detection module 350 and the vehicle control module 370 Or you can manage the data flow.

도 4는 본 발명에 따른 차량 후방 감지 과정을 설명하는 순서도이다.4 is a flowchart illustrating a process of detecting the rear of a vehicle according to the present invention.

도 4를 참조하면, 후방 감지 장치(130)는 전면 카메라 모듈(310)을 통해 차량(110)의 주행 중인 차선의 이탈을 검출하거나 또는 차량(110)의 방향지시조작을 검출할 수 있다(단계 S410). 후방 감지 장치(130)는 사이드 카메라 모듈(330)을 통해 촬영 개시 신호가 수신되면 제1 특정 시간 동안 차량(110)의 후방 바깥 방향으로 주행 중 후측방 영상을 촬영할 수 있다(단계 S430).Referring to FIG. 4 , the rear detection device 130 may detect departure from a lane in which the vehicle 110 is driving or detect manipulation of the direction of the vehicle 110 through the front camera module 310 (step S410). When a recording start signal is received through the side camera module 330, the rear detection device 130 may capture a rear side image while the vehicle 110 is driving in the rearward and outward direction for a first specific time period (step S430).

또한, 후방 감지 장치(130)는 사이드 차량 감지모듈(350)을 통해 감지 개시 신호가 수신되면 제2 특정 시간 동안 차량(110)의 후방 바깥에서 접근되는 사이드 차량의 존재를 검출할 수 있다(단계 S450). 후방 감지 장치(130)는 차량 제어모듈(370)을 통해 사이드 차량의 존재가 검출되면 사이드 차량에 관한 시각화된 영상을 생성할 수 있다(단계 S470).In addition, when the detection start signal is received through the side vehicle detection module 350, the rear detection device 130 may detect the presence of a side vehicle approaching from outside the rear of the vehicle 110 for a second specific time period (step S450). When the presence of a side vehicle is detected through the vehicle control module 370, the rear detection device 130 may generate a visualized image of the side vehicle (step S470).

도 5는 본 발명에 따른 시스템 구성도의 일 실시예를 설명하는 도면이다.5 is a diagram for explaining an embodiment of a system configuration diagram according to the present invention.

도 5를 참조하면, 후측방 감지 장치(410)는 사이드 차량 감지모듈(350)에 대응될 수 있고, 후측방 카메라(430)는 사이드 카메라 모듈(330)에 대응될 수 있다. 또한, 사용자 단말(450)은 후방감지 장치(130)에 대응될 수 있으며, 출력 디스플레이는 차량(110)의 AVN 기기에 대응될 수 있다.Referring to FIG. 5 , the rear side detection device 410 may correspond to the side vehicle detection module 350 and the rear side camera 430 may correspond to the side camera module 330 . Also, the user terminal 450 may correspond to the rear detection device 130, and the output display may correspond to the AVN device of the vehicle 110.

도 5에서, 후측방에 부착된 감지 장치(410) 및 카메라(430)는 지속적으로 무선 통신을 통해 데이터를 사용자 단말(450)로 송출할 수 있다. 사용자 단말(450) 내부의 시각화 시스템은 데이터 선처리 모듈과 시각화 모듈로 나누어져 운영될 수 있으며, 데이터 선처리 모듈은 송신한 데이터 시각화를 위해 필요 없는 데이터를 제거하고 감지 데이터와 카메라 데이터를 조합하여 시각화 데이터 양식에 맞추어 시각화 모듈로 전송할 수 있다. 또한, 데이터 시각화 모듈은 전송 받은 데이터를 재구성하여 시각화된 정보로 구축하고 사용자 단말(450)의 화면으로 출력할 수 있다.In FIG. 5 , the sensing device 410 and the camera 430 attached to the rear side may continuously transmit data to the user terminal 450 through wireless communication. The visualization system inside the user terminal 450 may be divided into a data pre-processing module and a visualization module, and the data pre-processing module removes unnecessary data for the visualization of the transmitted data and combines sensing data and camera data to visualize data. It can be transferred to the visualization module according to the form. In addition, the data visualization module may reconstruct the received data, build visualized information, and output it to the screen of the user terminal 450 .

도 6은 본 발명에 따른 시스템 동작의 일 실시예를 설명하는 도면이다.6 is a diagram illustrating one embodiment of system operation according to the present invention.

도 6을 참조하면, 후방 감지 장치(130)는 주기적으로 감지 데이터를 송신하고, 출력하는 과정을 반복적으로 수행할 수 있다. 즉, 후방 감지 장치(130)는 선처리된 정보를 시각화하는 과정에서 방향지시등 여부를 확인하여 사용자에게 정보전달을 효율적으로 할 수 있다.Referring to FIG. 6 , the rear detection device 130 may periodically transmit and output detection data repeatedly. That is, the rear detection device 130 can efficiently deliver information to the user by checking whether or not there is a turn signal in the process of visualizing the pre-processed information.

보다 구체적으로, 후방 감지 장치(130)는 감지 데이터를 기초로 측후방 차량(또는 사이드 차량)의 감지 여부를 결정할 수 있다. 만약 측후방 차량이 감지된 경우 측후방 차량 정보를 생성하여 제공할 수 있다. 후방 감지 장치(130)는 측후방 차량이 감지된 상태에서 방향지시등이 동작하는 경우 경고 메시지 및 경고음을 출력할 수 있다(S610). 만약 측후방 차량이 감지된 상태에서 방향지시등이 동작하지 않은 경우라면 후방 감지 장치(130)는 시각화된 정보만을 갱신하여 시각화 정보로서 출력할 수 있다(S630).More specifically, the rear detection device 130 may determine whether to detect a side-rear vehicle (or a side vehicle) based on the detection data. If a side-rear vehicle is detected, side-rear vehicle information may be generated and provided. The rear detecting device 130 may output a warning message and a warning sound when the direction indicator is operated in a state where a side-rear vehicle is detected (S610). If the turn signal does not operate in a state where a vehicle from the side or rear is detected, the rear detection device 130 may update only the visualized information and output it as visualization information (S630).

도 7은 본 발명의 구성 및 동작의 일 실시예를 설명하는 도면이다.7 is a diagram for explaining an embodiment of the configuration and operation of the present invention.

도 7을 참조하면, 후방 감지 장치(130)는 사이드 미러에 장착된 사이드 차량 감지모듈(350) 및 사이드 카메라 모듈(330)을 통해 현재 주행 중인 주행 차량(710) 및 주변 상황에 관한 정보를 지속적으로 또는 주기적으로 시각화 할 수 있다. 그림 (a)의 경우, 사용자 단말(또는 AVN 기기)을 통해 후방 감지 장치(130)에 의해 시각화된 정보가 표시될 수 있다.Referring to FIG. 7 , the rear detection device 130 continuously transmits information about the currently driving vehicle 710 and the surrounding situation through the side vehicle detection module 350 and the side camera module 330 mounted on the side mirror. It can be visualized as a series or periodically. In the case of figure (a), information visualized by the rear detection device 130 may be displayed through a user terminal (or AVN device).

이때, 주행 차량(710)의 좌측 뒤에서 사이드 차량(730)이 가속하여 점점 가까워지면서 좌측의 사이드 미러에 장착되어 있는 사이드 차량 감지모듈(350) 및 사이드 카메라 모듈(330)에 의해 감지될 수 있으며, 사이드 차량(730)과의 거리 정보가 디스플레이 화면을 통해 표시될 수 있다. 또한, 후방 감지 장치(130)는 차량 제어모듈(370)을 통해 사용자 단말(또는 AVN 기기)의 디스플레이 화면에 그림 (b)와 같이 좌측 후방의 사이드 차량(730)과의 거리까지 시각화된 정보를 출력할 수 있다.At this time, as the side vehicle 730 accelerates and approaches from the left side of the driving vehicle 710, it can be detected by the side vehicle detection module 350 and the side camera module 330 mounted on the left side mirror, Distance information to the side vehicle 730 may be displayed through a display screen. In addition, the rear detection device 130 transmits visualized information up to the distance to the left rear side vehicle 730 on the display screen of the user terminal (or AVN device) through the vehicle control module 370 as shown in Figure (b). can be printed out.

또한, 후방 감지 장치(130)는 주행 차량(710)의 좌측 후방에 사이드 차량(730)이 주행 중인 상황에서 좌측 방향지시등이 켜진 경우, 운전자의 주의를 집중시키기 위하여 경고음 및 경고메시지를 출력할 수 있다. 따라서, 후방 감지 장치(130)는 후측방 영상을 단순 재생하는 것에 그치지 않고, 사이드 차량(730)과의 거리 정보를 시각화 하여 제공하고, 차선 변경 등과 같이 사이드 차량(730)과의 사고 발생 가능성이 높은 상황을 감지하여 운전자에게 유용한 시각적, 청각적 정보를 제공할 수 있다.In addition, the rear detection device 130 may output a warning sound and a warning message to focus the driver's attention when the left turn signal is turned on while the side vehicle 730 is driving on the left rear of the driving vehicle 710. have. Therefore, the rear detection device 130 does not stop at simply reproducing the posterolateral image, but also visualizes and provides information on the distance to the side vehicle 730, and detects the possibility of an accident with the side vehicle 730, such as a lane change. It can detect a high situation and provide useful visual and auditory information to the driver.

일 실시예, 후방 감지 장치(130)는 운전석에 장착된 진동 모듈과 연동하여 동작할 수도 있다. 즉, 후방 감지 장치(130)는 위험 상황을 감지하고 진동 모듈의 동작을 개시하여 운전자에게 물리적 알림의 제공할 수도 있다. 이때, 진동 모듈은 운전자에게 물리적 진동을 제공하기 위해 적절한 장소에 설치될 수 있다. 바람직하게는 운전자의 신체와 물리적 접촉 가능한 운전석, 스티어링휠, 안전벨트 등에 설치될 수 있으나, 반드시 이에 한정되지 않고, 다양한 방식 및 방법으로 설치될 수 있음은 물론이다.In one embodiment, the rear detection device 130 may operate in conjunction with a vibration module mounted on a driver's seat. That is, the rear detection device 130 may detect a dangerous situation and initiate the operation of the vibration module to provide a physical notification to the driver. In this case, the vibration module may be installed in an appropriate place to provide physical vibration to the driver. Preferably, it may be installed in a driver's seat, a steering wheel, a safety belt, etc. capable of physically contacting the driver's body, but is not necessarily limited thereto, and may be installed in various ways and methods.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: 차량 후방 감지 시스템
110: 차량 130: 후방 감지 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 전면 카메라 모듈 330: 사이드 카메라 모듈
350: 사이드 차량 감지모듈 370: 차량 제어모듈
390: 제어모듈
410: 후측방 감지 장치 430: 후측방 카메라
450: 사용자 단말
710: 주행 차량 730: 사이드 차량
100: vehicle rear detection system
110: vehicle 130: rear detection device
150: database
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: front camera module 330: side camera module
350: side vehicle detection module 370: vehicle control module
390: control module
410: rear side detection device 430: rear side camera
450: user terminal
710: drive vehicle 730: side vehicle

Claims (15)

차량의 전방을 촬영하고 상기 차량의 주행 중인 차선을 검출하는 전면 카메라 모듈;
양쪽 사이드 미러들 각각에 설치되고 촬영 개시 신호를 수신하여 제1 특정 시간 동안 상기 차량의 후방 바깥 방향으로 주행 중 후측방 영상을 촬영하는 사이드 카메라 모듈;
상기 차량의 후방 측면에 각각 설치되고 감지 개시 신호를 수신하여 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량의 존재를 검출하는 사이드 차량 감지모듈; 및
상기 전면 카메라 모듈을 통해 상기 주행 중인 차선의 이탈을 검출하거나 또는 상기 차량의 방향지시조작을 검출하여 상기 감지 개시 신호를 생성하고, 상기 사이드 차량의 존재가 검출되면 상기 촬영 개시 신호를 생성하며, 상기 사이드 차량의 존재가 충돌 가능 거리 이내에서 검출되면 상기 촬영 개시 신호의 생성 이전에 가상의 어라운드 뷰를 생성하여 상기 차량의 AVN 기기에 제공하는 차량 제어모듈을 포함하되,
상기 사이드 차량 감지모듈은 ToF (Time of Flight) 센서로 구현되고 상기 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량과의 거리 및 접근 속도를 더 검출하고, 상기 차량의 주행 속도에 따라 반비례하도록 상기 제2 특정 시간을 결정하며, 상기 제2 특정 시간이 경과한 경우라도 상기 사이드 차량의 접근이 점점 가까워지는 경우라면 상기 사이드 차량의 존재, 거리 및 접근 속도를 계속 검출하고, 상기 사이드 차량이 인접 옆 차선이 아닌 옆 차선에 존재하는 경우에는 상기 제2 특정 시간을 연장하지 않는 것을 특징으로 하는 차량 후방 감지 장치.
a front camera module for photographing the front of the vehicle and detecting a driving lane of the vehicle;
a side camera module installed on each of the side mirrors and receiving a shooting start signal and taking a rear side image while the vehicle is driving in a rearward outward direction for a first specific time period;
a side vehicle detection module installed on the rear side of the vehicle and detecting the presence of a side vehicle approaching from outside the rear of the vehicle for a second specific time by receiving a detection start signal; and
The detection start signal is generated by detecting departure from the driving lane or direction instruction operation of the vehicle through the front camera module, and the photographing start signal is generated when the presence of the side vehicle is detected. When the existence of a side vehicle is detected within a collision possible distance, a vehicle control module that generates a virtual around view before generating the shooting start signal and provides it to the AVN device of the vehicle,
The side vehicle detection module is implemented as a Time of Flight (ToF) sensor and further detects a distance and an approaching speed to a side vehicle approaching from outside the rear of the vehicle during the second specific time period, and according to the driving speed of the vehicle. The second specific time is determined to be inversely proportional, and even if the second specific time has elapsed, if the approach of the side vehicle is getting closer, the presence, distance and approaching speed of the side vehicle are continuously detected, and the side vehicle is continuously detected. The second specific time period is not extended when the vehicle exists in an adjacent lane other than an adjacent lane.
제1항에 있어서, 상기 사이드 카메라 모듈은
상기 차량의 주행 속도에 따라 반비례하도록 상기 제1 특정 시간을 결정하는 것을 특징으로 하는 차량 후방 감지 장치.
The method of claim 1, wherein the side camera module
The vehicle rear detection device, characterized in that the first specific time is determined in inverse proportion to the driving speed of the vehicle.
제2항에 있어서, 상기 사이드 카메라 모듈은
상기 제1 특정 시간이 경과한 경우라도 상기 사이드 차량의 접근이 점점 가까워지는 경우라면 상기 주행 중 후측방 영상을 계속하여 촬영하는 것을 특징으로 하는 차량 후방 감지 장치.
The method of claim 2, wherein the side camera module
Even if the first specific time has elapsed, if the approach of the side vehicle is gradually approaching, the rear side image is continuously captured while driving.
제3항에 있어서, 상기 사이드 카메라 모듈은
특정 거리 이내에서 상기 사이드 차량의 접근이 점점 가까워지는 경우라면 상기 후측방 영상을 확대시키는 것을 특징으로 하는 차량 후방 감지 장치.
The method of claim 3, wherein the side camera module
The vehicle rear detection device, characterized in that for enlarging the rear side image when the approach of the side vehicle is getting closer within a specific distance.
삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 차량 제어모듈은
상기 주행 중인 차선의 이탈을 검출하는 경우에는 상기 감지 개시 신호 및 상기 촬영 개시 신호를 동시에 생성하고 차선 이탈 알람을 제공하는 것을 특징으로 하는 차량 후방 감지 장치.
The method of claim 1, wherein the vehicle control module
and generating the detection start signal and the photographing start signal at the same time and providing a lane departure alarm when detecting departure from the driving lane.
제9항에 있어서, 상기 차량 제어모듈은
상기 사이드 차량의 존재 및 영상을 상기 차량의 AVN (Audio Video Navigation) 기기에 어라운드 뷰 방식으로 출력하면서 상기 차량의 이동 방향을 시각화 하여 디스플레이 하는 것을 특징으로 하는 차량 후방 감지 장치.
10. The method of claim 9, wherein the vehicle control module
The vehicle rear detection device, characterized in that for visualizing and displaying the moving direction of the vehicle while outputting the presence and image of the side vehicle to an AVN (Audio Video Navigation) device of the vehicle in an around-view method.
삭제delete 전면 카메라 모듈을 통해 차량의 주행 중인 차선의 이탈을 검출하거나 또는 상기 차량의 방향지시조작을 검출하는 단계;
사이드 카메라 모듈을 통해 촬영 개시 신호가 수신되면 제1 특정 시간 동안 상기 차량의 후방 바깥 방향으로 주행 중 후측방 영상을 촬영하는 단계;
사이드 차량 감지모듈을 통해 감지 개시 신호가 수신되면 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량의 존재를 검출하는 단계; 및
차량 제어모듈을 통해 상기 사이드 차량의 존재가 검출되면 상기 사이드 차량에 관한 시각화된 영상을 생성하는 단계를 포함하고,
상기 생성하는 단계는 상기 사이드 차량의 존재가 충돌 가능 거리 이내에서 검출되면 상기 촬영 개시 신호의 생성 이전에 가상의 어라운드 뷰를 생성하여 상기 차량의 AVN 기기에 제공하는 단계를 포함하며,
상기 사이드 차량의 존재를 검출하는 단계는 ToF (Time of Flight) 센서로 구현되고 상기 제2 특정 시간 동안 상기 차량의 후방 바깥에서 접근되는 사이드 차량과의 거리 및 접근 속도를 더 검출하고, 상기 차량의 주행 속도에 따라 반비례하도록 상기 제2 특정 시간을 결정하며, 상기 제2 특정 시간이 경과한 경우라도 상기 사이드 차량의 접근이 점점 가까워지는 경우라면 상기 사이드 차량의 존재, 거리 및 접근 속도를 계속 검출하고, 상기 사이드 차량이 인접 옆 차선이 아닌 옆 차선에 존재하는 경우에는 상기 제2 특정 시간을 연장하지 않는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 차량 후방 감지 방법.
detecting departure from the lane in which the vehicle is driving or detecting manipulation of a direction of the vehicle through a front camera module;
photographing a rear side image while the vehicle is driving in a rearward outward direction for a first specific time period when a recording start signal is received through the side camera module;
detecting the presence of a side vehicle approaching from the rear of the vehicle for a second specific time period when a detection start signal is received through the side vehicle detection module; and
When the presence of the side vehicle is detected through the vehicle control module, generating a visualized image of the side vehicle,
The generating step includes generating a virtual around view and providing it to an AVN device of the vehicle before generating the shooting start signal when the presence of the side vehicle is detected within a collision possible distance,
The detecting of the presence of the side vehicle is implemented with a Time of Flight (ToF) sensor and further detects a distance and an approaching speed to a side vehicle approaching from outside the rear of the vehicle during the second specific time period, and The second specific time is determined in inverse proportion to the driving speed, and even if the second specific time has elapsed, if the approach of the side vehicle is getting closer, the presence, distance and approaching speed of the side vehicle are continuously detected, and not extending the second specific time period when the side vehicle is present in an adjacent lane other than an adjacent lane.
제12항에 있어서, 상기 생성하는 단계는
상기 주행 중인 차선의 이탈을 검출하는 경우에는 상기 감지 개시 신호 및 상기 촬영 개시 신호를 동시에 생성하고 차선 이탈 알람을 제공하는 단계를 포함하는 것을 특징으로 하는 차량 후방 감지 방법.
13. The method of claim 12, wherein the generating step
and simultaneously generating the detection start signal and the photographing start signal and providing a lane departure alarm when detecting departure from the driving lane.
제12항에 있어서, 상기 생성하는 단계는
상기 사이드 차량의 존재 및 영상을 상기 차량의 AVN (Audio Video Navigation) 기기에 어라운드 뷰 방식으로 출력하면서 상기 차량의 이동 방향을 시각화 하여 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 차량 후방 감지 방법.
13. The method of claim 12, wherein the generating step
The vehicle rearward detection method comprising the step of visualizing and displaying the moving direction of the vehicle while outputting the presence and image of the side vehicle to an AVN (Audio Video Navigation) device of the vehicle in an around-view method.
삭제delete
KR1020200157720A 2020-11-23 2020-11-23 Vehicle rear detection device and method KR102467632B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200157720A KR102467632B1 (en) 2020-11-23 2020-11-23 Vehicle rear detection device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200157720A KR102467632B1 (en) 2020-11-23 2020-11-23 Vehicle rear detection device and method

Publications (2)

Publication Number Publication Date
KR20220072008A KR20220072008A (en) 2022-06-02
KR102467632B1 true KR102467632B1 (en) 2022-11-17

Family

ID=81985258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200157720A KR102467632B1 (en) 2020-11-23 2020-11-23 Vehicle rear detection device and method

Country Status (1)

Country Link
KR (1) KR102467632B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665590B1 (en) * 2015-02-26 2016-10-12 동의대학교 산학협력단 Lane Recognition Apparatus and Method using Blackbox and AVM
JP2018081545A (en) * 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Image data extraction device and image data extraction method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775369B1 (en) 2006-10-31 2007-11-12 현대자동차주식회사 Integration warning system of lane departure and side obstacle
KR20130096431A (en) * 2012-02-22 2013-08-30 현대모비스 주식회사 Apparatus of guiding lane change
KR102010407B1 (en) * 2012-09-10 2019-08-14 현대모비스 주식회사 Smart Rear-view System
KR102243244B1 (en) * 2019-08-26 2021-04-23 엘지전자 주식회사 Method and apparatus for controlling by emergency step in autonomous driving system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665590B1 (en) * 2015-02-26 2016-10-12 동의대학교 산학협력단 Lane Recognition Apparatus and Method using Blackbox and AVM
JP2018081545A (en) * 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Image data extraction device and image data extraction method

Also Published As

Publication number Publication date
KR20220072008A (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US20230278583A1 (en) Autonomous driving system
JP6112054B2 (en) Electronic device, electronic device control method, and electronic device control program
EP2804152A1 (en) Event detection and recording methods and systems
JP2018081080A (en) Emergency handling system for autonomous driving vehicle (adv)
US20170220041A1 (en) Vehicle surroundings monitoring apparatus, monitoring system, remote monitoring apparatus, and monitoring method
JP2007334574A (en) Emergency call unit, emergency call system, and emergency vehicle guide system
CN110178141A (en) Method for manipulating autonomous motor vehicles
US11590985B2 (en) Information processing device, moving body, information processing method, and program
JP2010033106A (en) Driver support device, driver support method, and driver support processing program
JP2007249757A (en) Warning device
WO2019188926A1 (en) Looking-away determining device, looking-away determining system, looking-away determining method, and storage medium
JP2010128637A (en) Device for facilitating braking preparation
KR101305310B1 (en) Method for providing around view of vehicle
KR102467632B1 (en) Vehicle rear detection device and method
WO2019181231A1 (en) Inattention determination device, inattention determination system, inattention determination method, and storage medium
JP2023113934A (en) Imaging information storage device, imaging information storage method, and program
CN114084159A (en) Driving assistance function reminding method, device, medium and vehicle
JP7433542B1 (en) Remote monitoring device, remote monitoring system, and remote monitoring method
JP2020201647A (en) Vehicle display control device, vehicle display control method, and vehicle display control program
JP2020071594A (en) History storage device and history storage program
US20230311865A1 (en) Control device
US20230339323A1 (en) Display control apparatus, display control system, and display control method
KR102101964B1 (en) Power control device for vehicle black box with security function
US10384603B1 (en) Vehicle monitor
KR102175793B1 (en) Method and apparatus for outputting an alarm for congitive impairment of driver

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right