WO2020139063A1 - 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법 - Google Patents

차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법 Download PDF

Info

Publication number
WO2020139063A1
WO2020139063A1 PCT/KR2019/095052 KR2019095052W WO2020139063A1 WO 2020139063 A1 WO2020139063 A1 WO 2020139063A1 KR 2019095052 W KR2019095052 W KR 2019095052W WO 2020139063 A1 WO2020139063 A1 WO 2020139063A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
external
processor
risk index
vehicles
Prior art date
Application number
PCT/KR2019/095052
Other languages
English (en)
French (fr)
Inventor
박동우
최희준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19903942.1A priority Critical patent/EP3842312A4/en
Priority to CN201980081522.XA priority patent/CN113165646B/zh
Priority to US17/283,881 priority patent/US11926315B2/en
Publication of WO2020139063A1 publication Critical patent/WO2020139063A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/10—Buses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/36—Cycles; Motorcycles; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112—Roll movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/12—Motorcycles, Trikes; Quads; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/90—Vehicles comprising electric prime movers
    • B60Y2200/91—Electric vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/90—Vehicles comprising electric prime movers
    • B60Y2200/92—Hybrid vehicles

Definitions

  • the present disclosure relates to an electronic device for detecting a dangerous element around a vehicle and a method for controlling the same, and more specifically, the risk of overturning an external vehicle around the vehicle based on an image obtained through a camera mounted on the vehicle. It relates to an electronic device capable of calculating an index and a control method therefor.
  • Roll refers to the behavior of the vehicle in the width direction, and rollover means that the vehicle moves sideways or rolls over.
  • the overturn of the vehicle generally occurs when the vehicle's center of gravity moves outward with respect to the turning direction when the vehicle turns, thereby causing the wheel inside the turning to fall off the ground.
  • the present disclosure is in accordance with the above-described need, and the object of the present disclosure is to calculate a risk factor around the vehicle, in particular, an overturning risk index of an external vehicle around the vehicle, based on an image obtained through a camera mounted on the vehicle. It provides an electronic device and a control method thereof.
  • the rollover risk index of vehicles located adjacent to the front, rear, or side of the running vehicle is calculated from the image obtained from the camera mounted on the running vehicle, and the rollover possibility is determined by determining the rollover possibility of the vehicle according to the rollover risk index. It is to provide an electronic device and a control method for establishing a driving strategy of a vehicle in consideration of a vehicle having this, and controlling the vehicle to be driven according to the established driving strategy.
  • an electronic device for detecting a dangerous element around a vehicle includes a communication unit, a memory storing at least one computer-executable instruction, and a processor executing the at least one computer-executable instruction
  • the processor receives an image obtained through a camera arranged to photograph the outside of the vehicle through the communication unit, and based on the image of the external vehicle included in the acquired image, the risk of overturning the external vehicle
  • the index (Rollover Index) may be calculated, and a predetermined operation may be performed according to the calculated rollover risk index.
  • the processor identifies an external vehicle having a height higher than or equal to a predetermined height among the plurality of external vehicles, and prioritizes the overturn risk index of the identified external vehicle. Can be calculated as
  • the processor inputs images of the plurality of external vehicles into the first artificial intelligence model learned by the AI algorithm to obtain information about the types of the plurality of external vehicles, and based on the acquired information. Accordingly, an external vehicle having a height higher than or equal to the predetermined height among the plurality of external vehicles may be identified.
  • the processor identifies an external vehicle on a road having a curvature greater than a preset curvature among the plurality of external vehicles, and overturns the identified external vehicle.
  • the risk index can be calculated first.
  • the processor acquires map information of the location where the vehicle is currently located, and identifies an external vehicle on a road having a curvature greater than the preset curvature among the plurality of external vehicles based on the acquired map information can do.
  • the processor inputs an image of the external vehicle into a second AI model trained by an artificial intelligence algorithm to obtain a roll angle of the external vehicle, and based on the acquired roll angle, the external vehicle Can be calculated.
  • the processor inputs an image of the external vehicle into the first artificial intelligence model learned by the artificial intelligence algorithm to obtain information about the type of the external vehicle, and based on the information about the type of the external vehicle.
  • a plurality of characteristic parameters for the external vehicle may be acquired, and an overturning risk index of the external vehicle may be calculated based on the plurality of characteristic parameters.
  • the plurality of characteristic parameters for the external vehicle may include a mass of the external vehicle, a roll damping coefficient, a roll elastic modulus, and a wheel.
  • the processor may provide a notification to the user when the calculated rollover risk index is greater than a preset rollover risk index.
  • the processor may control the vehicle to avoid from the external vehicle.
  • a method of controlling an electronic device for detecting a dangerous element around a vehicle includes: receiving an image obtained through a camera arranged to photograph the outside of the vehicle, the obtaining And calculating a rollover index of the external vehicle based on the image of the external vehicle included in the image, and performing a preset operation according to the calculated rollover risk index.
  • the step of calculating the rollover risk index may include, when a plurality of external vehicles are included in the acquired image, identifying an external vehicle having a height higher than or equal to a predetermined height among the plurality of external vehicles and the identified external vehicle. It may include the step of first calculating the rollover risk index of the vehicle.
  • the identifying step may include inputting images of the plurality of external vehicles into the first artificial intelligence model learned by the artificial intelligence algorithm to obtain information on the types of the plurality of external vehicles, and the acquired information Based on the, it is possible to identify an external vehicle having a height higher than or equal to the predetermined height among the plurality of external vehicles.
  • the step of calculating the rollover risk index may include: when a plurality of external vehicles are included in the acquired image, identifying an external vehicle on a road having a curvature greater than a preset curvature among the plurality of external vehicles; and It may include the step of preferentially calculating the rollover risk index of the identified external vehicle.
  • the identifying step includes obtaining the map information of the location where the vehicle is currently located, and based on the acquired map information, an external vehicle on a road having a curvature greater than the preset curvature among the plurality of external vehicles. Can be identified.
  • the step of calculating the rollover risk index is to obtain the roll angle of the external vehicle by inputting the image of the external vehicle to the second AI model trained by the artificial intelligence algorithm, and the obtained roll angle Based on the, it is possible to calculate the rollover risk index of the external vehicle.
  • the step of calculating the rollover risk index may include inputting an image of the external vehicle into a first artificial intelligence model learned by an artificial intelligence algorithm to obtain information about the type of the external vehicle, and the type of the external vehicle.
  • a plurality of characteristic parameters for the external vehicle may be obtained based on the information on and the rollover risk index of the external vehicle may be calculated based on the plurality of characteristic parameters.
  • the plurality of characteristic parameters for the external vehicle may include a mass of the external vehicle, a roll damping coefficient, a roll elastic modulus, and a wheel.
  • a notification may be provided to the user.
  • the step of performing the preset operation may control the vehicle to avoid from the external vehicle.
  • FIG. 1 is a view for explaining a vehicle according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram illustrating a configuration of a vehicle according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a view showing an electronic device according to an embodiment of the present disclosure implemented as a smartphone;
  • FIG. 5 to 6 are views for explaining various embodiments of the present disclosure for setting a Region of Interest (ROI) in a vehicle having a high risk of rollover in an image acquired through a camera;
  • ROI Region of Interest
  • FIG. 7 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of controlling an electronic device according to another embodiment of the present disclosure.
  • FIG. 9 is a view for explaining an artificial intelligence module according to an embodiment of the present disclosure.
  • FIG. 10 is a block diagram of a learning unit according to an embodiment of the present disclosure.
  • FIG. 11 is a block diagram of an analysis unit according to an embodiment of the present disclosure.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B”, etc. may include all possible combinations of the items listed together. .
  • first,” “second,” “first,” or “second,” as used in this document may modify various components, regardless of order and/or importance, and denote one component. It is used to distinguish from other components, but does not limit the components.
  • the first user device and the second user device may indicate different user devices regardless of order or importance.
  • the first component may be referred to as a second component without departing from the scope of rights described in this document, and similarly, the second component may be referred to as a first component.
  • module means, “unit”, and “part” used in this document are terms used to refer to a component that performs at least one function or operation, and these components are implemented in hardware or software. Or it may be implemented as a combination of hardware and software. In addition, a plurality of “modules”, “units”, “parts”, etc. are integrated into at least one module or chip, except that each needs to be implemented with individual specific hardware. Can be implemented as
  • Some component eg, first component
  • another component eg, second component
  • any of the above components may be directly connected to the other component, or may be connected through another component (eg, a third component).
  • a component eg, the first component
  • the component is not It can be understood that other components (eg, the third component) do not exist between the other components.
  • the expression “configured to” is, depending on the context, for example, “having the capacity to” ,” “designed to,” “adapted to,” “made to,” or “capable of” can be used interchangeably.
  • the term “configured (or set) to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” with other devices or parts.
  • processors configured (or set) to perform A, B, and C” means by executing a dedicated processor (eg, an embedded processor) to perform the operation, or one or more software programs stored in the memory device. , It may mean a general-purpose processor (eg, a CPU or application processor) capable of performing the corresponding operations.
  • the vehicle described in the present disclosure may be, for example, a passenger car, truck, motorcycle, bus, or the like.
  • the vehicle described in the present disclosure may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, an electric vehicle having an electric motor as a power source, and the like.
  • the vehicle may be an autonomous vehicle or an unmanned vehicle (driverless car) capable of driving itself by recognizing the driving environment without controlling the driver and controlling the vehicle.
  • the vehicle may be a manually operated vehicle that is driven by driver operation, or a vehicle in which manual operation and autonomous driving methods are combined.
  • the rollover risk index is used as an index capable of determining the risk of rollover of a driving vehicle.
  • the rollover risk index can be calculated using the characteristic parameter values of the vehicle and the rate of change of the roll angle and roll angle of the vehicle.
  • FIG. 1 is a view showing the appearance of a vehicle 1000 according to an embodiment of the present disclosure.
  • At least one camera may be disposed on at least one of the front, side, and rear of the vehicle 1000.
  • the front camera may be arranged to photograph the front 10 of the vehicle 1000
  • the side camera may be arranged to photograph the sides 20 and 30 of the vehicle 1000
  • the rear camera may be disposed of the vehicle 1000. It may be arranged to photograph the rear 40.
  • the vehicle 1000 calculates the rollover risk index of vehicles located adjacent to the front, rear, or side surfaces of the vehicle 1000, and the rollover risk index It can be compared with a predetermined rollover risk index to determine whether a rollover risk exists, to establish a driving strategy of a vehicle in consideration of a vehicle with a rollover risk, and to control the vehicle to drive according to the established driving strategy.
  • FIG. 2 is a block diagram illustrating the configuration of the vehicle 1000 according to an embodiment of the present disclosure.
  • the vehicle 1000 may include a computing device 210, a sensing unit 220, a vehicle driving unit 230, an output unit 240, a user input unit 250, and a wireless communication unit 260. have.
  • the vehicle 1000 may include some of the components illustrated in FIG. 2, or further include other components not illustrated, according to an embodiment.
  • the computing device 210 can include a processor 110 and a memory 120.
  • the memory 120 may include internal memory or external memory.
  • the memory 120 is accessed by the processor 110, and data read/write/modify/delete/update by the processor 110 may be performed.
  • the memory 120 may store instructions executable by the processor 110.
  • the processor 110 may control a number of components included in the vehicle 1000 and may perform various data processing and calculations.
  • the processor 110 may perform various functions by executing instructions stored in the memory 120.
  • the processor 110 may be a central processing unit (CPU) or graphics-processing unit (GPU), or both.
  • the processor 110 may be implemented with at least one general-purpose processor, digital signal processor, application specific integrated circuit (ASIC), system on chip (SoC), microcomputer (MICOM), or the like.
  • the sensing unit 220 is configured to obtain various information related to the vehicle 1000.
  • the sensing unit 220 includes, for example, a GPS module 221, a radio detection and ranging (RADAR) module 222, a light detection and ranging (LIDAR) module 223, and a camera (FIG. 224), a vehicle state sensing module 225 may be included.
  • RADAR radio detection and ranging
  • LIDAR light detection and ranging
  • FOG. 224 camera
  • the GPS module 221 includes circuitry for acquiring information about the location of the vehicle 1000.
  • the processor 110 may use the GPS module 221 to obtain information about the location of the vehicle 1000 based on a signal transmitted from a GPS satellite.
  • the radar module 222 includes circuitry for transmitting radio waves and receiving radio waves reflected from objects (eg, external vehicles, street trees, street lights, traffic lights, traffic signs, etc.).
  • the processor 110 may obtain information about a distance and a relative speed between the vehicle 1000 and an object based on the received radio waves.
  • the rider module 223 includes circuitry for transmitting light and receiving light reflected from objects.
  • the processor 110 may obtain information about a distance and a relative speed between the vehicle 1000 and an object based on the received light.
  • the camera 224 is configured to photograph an environment around the vehicle 1000.
  • the camera 224 may include at least one of a front camera, a rear camera, and a side camera, for example.
  • the front camera may be arranged to photograph the front of the vehicle 1000.
  • the front camera may be a stereo camera comprising two lenses. It is also possible to implement a mono camera having one lens.
  • the side camera may be arranged to photograph the side of the vehicle 1000.
  • the side camera may be disposed on the left and/or right side of the vehicle 1000.
  • the side camera may also be implemented as a stereo camera or a mono camera.
  • the rear camera may be arranged to photograph the rear of the vehicle 1000.
  • the rear camera may also be implemented as a stereo camera or a mono camera.
  • the processor 110 may identify an object included in an image obtained through the camera 224 and a relative speed of the vehicle 1000 and a distance between the object and the vehicle 1000.
  • the processor 110 may obtain a depth map through a stereo matching technique from an image obtained through the camera 224 implemented as a stereo camera. Based on the depth map, a distance to an object, a relative speed to the object, and a distance between a plurality of objects can be identified.
  • the processor 110 may identify a relative speed based on a distance from an object and a change in the size of the object based on the size of the object in the image obtained through the camera 224 implemented as a mono camera.
  • a distance from an object may be identified by an image acquired through a mono camera using an artificial intelligence model in which the relationship between the object size and the distance from the object is learned in the image.
  • Such an artificial intelligence model may be generated by learning the relationship between the size of an object in the image and the distance from the object identified through the radar module 222 or the rider module 223.
  • the vehicle state sensing module 225 is configured to sense various situations of the vehicle 1000.
  • the vehicle state sensing module 225 is a speed sensor for measuring the speed of the vehicle 1000, a yaw sensor for measuring the yaw rate (rotational angular velocity) of the vehicle 1000, a vehicle for measuring the angular velocity of the vehicle It may include a gyro sensor, a temperature sensor, a humidity sensor, and the like. In addition, various sensors may be included.
  • the vehicle driving unit 230 may control various configurations related to the operation of the vehicle 1000.
  • the vehicle driving unit 230 may include a steering control module 231 and a shift control module 232.
  • the steering control module 231 may perform control for changing the direction of the steering wheel of the vehicle 1000.
  • the steering wheel is a wheel whose direction is changed according to the steering input, and the steering wheel may be switched to the left or right direction according to the user's steering input by the steering wheel.
  • the processor 110 may control the steering control module 231 to change the direction of the steering wheel.
  • the processor 110 may control the steering control module 231 to change the direction of the steering wheel in a situation in which the danger of tipping over by an external vehicle is sensed.
  • the shift control module 232 may control the speed of the vehicle 1000.
  • the shift control module may control the vehicle 1000 to accelerate or decelerate.
  • the processor 110 may control the shift control module 232 to decelerate or accelerate the speed of the vehicle 1000.
  • the processor 110 may control the shift control module 232 such that the vehicle 1000 is accelerated or decelerated in a situation in which the danger of overturning the external vehicle is detected.
  • the processor 110 controls at least one of the steering control module 231 and the shift control module 232 when the external vehicle is in danger of being overturned, so that the vehicle 1000 avoids an external vehicle having a possibility of being overturned. Can.
  • the output unit 240 may include a display 241, a speaker 242, and a haptic module 243.
  • the display 241 is a configuration for displaying an image, and may include a liquid crystal display (LCD) or an organic light emitting diode (OLED). According to an embodiment, the display 241 may be implemented as a head up display (HUD). When the display 241 is implemented as a HUD, information may be output through a transparent display provided in a windshield of the vehicle 1000.
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • HUD head up display
  • the speaker 242 is a component for outputting sound.
  • Haptic module 243 includes circuitry for generating tactile output.
  • the haptic module may vibrate the steering wheel, seat belt, and seat of the vehicle 1000.
  • the processor 110 may notify the user of a dangerous situation by controlling the output unit 240 when there is a risk of being overturned by an external vehicle.
  • the processor 110 may control the display 241 to display information informing of the dangerous situation when there is a risk of overturning in an external vehicle.
  • the processor 110 may control the speaker 242 to output a warning sound when there is a risk of being overturned by an external vehicle.
  • the processor 110 may control the haptic module 243 to vibrate at least one of the steering wheel, seat belt, and seat of the vehicle 1000 when there is a risk of overturning the external vehicle.
  • the user input unit 250 is configured to receive user input, and may include an input device such as a button and a touch panel.
  • the vehicle 1000 may include a touch screen in which the touch panel and the display 241 are combined.
  • the processor 110 may control functions of the vehicle 1000 based on a user input input through the user input unit.
  • the wireless communication unit 260 is configured to communicate with an external device.
  • the wireless communication unit 260 includes Bluetooth, communication protocols described in IEEE 802.11 (including IEEE 802.11 revisions), cellular technology (eg, GSM, CDMA, UMTS, EV-DO, WiMAX, or LTE), ZigBee ( Zigbee), Dedicated Short Range Communications (DSRC), and Radio Frequency Identification (RFID) communications.
  • IEEE 802.11 including IEEE 802.11 revisions
  • cellular technology eg, GSM, CDMA, UMTS, EV-DO, WiMAX, or LTE
  • ZigBee Zigbee
  • DSRC Dedicated Short Range Communications
  • RFID Radio Frequency Identification
  • the wireless communication unit 260 may transmit and receive data in real time by connecting to an external vehicle, various servers, systems, and the like that exist around the vehicle 1000 while the vehicle 1000 is driving.
  • V2X is a vehicle to vehicle (V2V), vehicle to infrastructure (V2I), vehicle to pedestrian (V2P), vehicle to network (V2N), vehicle to network (V2N), vehicle and cloud It is a concept that collectively refers to wireless communication technology for information exchange such as (V2C, Vehicle to Cloud).
  • the processor 110 receives, through the communication unit 130, an image obtained through the camera 224 arranged to photograph the outside of the vehicle 1000 by executing computer-executable instructions stored in the memory 120. Based on the image of the external vehicle included in the image, a rollover index of the external vehicle may be calculated, and a predetermined operation may be performed according to the calculated rollover risk index.
  • the preset operation is an operation of controlling the display 241 to display information for notifying the danger, an operation of controlling the speaker 242 to output a danger notification sound, and a driving established by establishing a driving strategy of the vehicle 1000 It may include at least one of the operation of controlling the display 241 to display information on the strategy, the operation of controlling the vehicle driving unit 230 according to the established driving strategy.
  • the method for the processor 110 to calculate the rollover risk index will be described in more detail below.
  • the components of the vehicle 1000 may communicate with each other through a system bus, a network, or other communication method.
  • the components of the vehicle 1000 are shown as being integrated into the vehicle 1000, some components may be detachably mounted on the vehicle 1000 or may be connected to the vehicle 1000 through a wired or wireless connection method. .
  • FIG. 3 is a diagram for describing an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may include the computing device 210 described above. That is, the electronic device 100 may include a processor 110 and a memory 120, and may include a communication unit 130.
  • the electronic device 100 may be implemented as a separate device from the vehicle 1000 and connected to wired or wireless communication methods through the communication unit 130 and components of the vehicle 1000, and the vehicle ( 1000).
  • the electronic device 100 may be implemented as a smart phone, a tablet personal computer (PC), or a wearable device.
  • the communication unit 130 may perform short-range communication.
  • short-range communication include BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Wireless-Fidelity (Wi-Fi) ), Wi-Fi Direct, Wireless USB (Wireless Universal Serial Bus) technology.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Near Field Communication
  • NFC Near Field Communication
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Direct Wireless USB (Wireless Universal Serial Bus) technology.
  • the electronic device 100 is implemented as a separate device from the vehicle, and is implemented as a smart phone.
  • the electronic device 100 directly directs the vehicle 1000 in a short-range communication method automatically or by executing a user's application. Communication can be connected.
  • the electronic device 100 may be implemented as a device included in the vehicle 1000.
  • the communication unit 130 may communicate with the components of the vehicle 1000 through the vehicle communication network.
  • the vehicle communication network may employ communication protocols such as MOST (Media Oriented Systems Transport), FlexRay, CAN (Controller Area Network), and LIN (Local Interconnect Network).
  • the communication unit 130 may communicate with an external device.
  • the communication unit 130 may communicate with an external device according to wireless Internet technology.
  • Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for) Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), and the like can be used.
  • the electronic device 100 may exchange data with an external server through the wireless Internet. Examples of the data to be exchanged may include weather information, road traffic condition information (eg, Transport Protocol Expert Group (TPEG) information), map information, and the like.
  • the communication unit 130 may be the wireless communication unit 260 described above.
  • the processor 110 may control the overall operation of the electronic device 100.
  • the processor 110 executes computer-executable instructions stored in the memory 120 to communicate an image obtained through the camera 224 arranged to photograph the exterior of the vehicle 1000 to the communication unit 130. Through the received, and based on the image of the external vehicle included in the obtained image, it is possible to calculate the rollover risk index (Rollover Index) of the external vehicle, and perform a predetermined operation according to the calculated rollover risk index.
  • Rollover Index Rollover Risk index
  • the preset operation is an operation of controlling the display 241 to display information for notifying the danger, an operation of controlling the speaker 242 to output a danger notification sound, and a driving established by establishing a driving strategy of the vehicle 1000 It may include at least one of the operation of controlling the display 241 to display information on the strategy, the operation of controlling the vehicle driving unit 230 according to the established driving strategy.
  • the processor 110 may identify an object included in the image by using an image segmentation algorithm that distinguishes an object from the background in the image.
  • the object may include various objects such as signs and separators as well as vehicles.
  • the processor 110 may identify a vehicle among the identified objects.
  • a vehicle may be recognized using an artificial intelligence model trained to recognize the vehicle. It may be simply recognized as a vehicle, or an AI model trained to recognize even a vehicle type (Sedan, SUV, bus, etc.) may be used.
  • Such a model can be trained by using images of various types of vehicles as training data. By learning to distinguish a specific vehicle, a specific model name of the vehicle can be obtained.
  • the processor 110 may retrieve the specifications of the recognized vehicle from the public database, and obtain characteristic parameter values of the corresponding vehicle.
  • the characteristic parameter values can include, for example, the mass of the vehicle, the roll damping coefficient, the roll elasticity coefficient and the wheel. The characteristic parameter values will be described in more detail below, but are used to calculate the rollover risk index.
  • characteristic parameter values can be obtained using the specifications of the vehicle having the model name, and if only a vehicle type is recognized, the average of the vehicle of that type
  • the rollover risk index can be calculated using the values of the characteristic parameters.
  • the processor 110 may select a vehicle for calculating the rollover risk index among the recognized vehicles. Although it is possible to calculate the rollover risk index for all recognized vehicles, the processor 110 reduces the risk of false detection and pays attention to ensuring the safety of the vehicle 1000, external vehicles close to the vehicle 1000, and It is possible to calculate the rollover risk index preferentially for external vehicles that are expected to roll over.
  • the processor 110 sets a region of interest (ROI) on external vehicles close to the vehicle 1000 (external vehicles within a predetermined distance) and external vehicles that are expected to be overturned. And, it is possible to preferentially calculate the rollover risk index of external vehicles with ROI.
  • the processor 110 can continuously track while the vehicle is within a preset range with the vehicle 1000 for external vehicles with an ROI, and calculate a rollover risk index.
  • the processor 110 may identify relative positions of external vehicles through an image obtained through the camera 224 or other methods, such as the radar module 222 and the rider module 223. Since the camera 224 has a very wide shooting range, many vehicles are often recognized. Among them, the processor 110 may set an ROI for external vehicles within a predetermined distance from the vehicle 1000.
  • FIG. 5 is a view showing an image obtained through a camera mounted on a driving vehicle, and is an example of setting an ROI on an external vehicle having a high height.
  • the processor 110 when a plurality of external vehicles are included in an image, the processor 110 inputs the images of the plurality of external vehicles into an AI model trained by an artificial intelligence algorithm, and then types the plurality of external vehicles. It is possible to obtain information on and to identify an external vehicle having a height higher than or equal to a predetermined height among the plurality of external vehicles based on the obtained information.
  • the processor 110 may download and use such an artificial intelligence model from an external server through the communication unit 130. According to another embodiment, the processor 110 transmits an image acquired through the camera 224 to an external server equipped with such an artificial intelligence model, and transmits information about the type of the vehicle in the image from the external server, and reports It can receive information about.
  • the processor 110 may preferentially calculate the rollover risk index for vehicles in the corresponding area when an area with a high curvature or an accidental accident area is expected. Since the lateral acceleration due to the circular motion is proportional to the severity of the curvature, the processor 110 can set an ROI on vehicles on a road with severe curvature (road with a curvature greater than a preset curvature). In the case of an accident-prone zone, it may be a road with a high curvature or a road requiring relatively steep maneuverability due to the nature of the road. Therefore, since the probability of occurrence of a rollover accident is relatively high, the processor 110 may set an ROI for vehicles in the accident area.
  • FIG. 6 is a view showing an image obtained through a camera mounted on a driving vehicle, and is an example of setting an ROI for external vehicles on a road with a high curvature.
  • the processor 110 identifies an external vehicle on a road having a curvature greater than a preset curvature among the plurality of external vehicles, and identifies the identified external vehicle
  • the vehicle's rollover risk index can be calculated preferentially.
  • the processor 110 may identify whether the curvature is severe or the like through a road image obtained through the camera 224, or may determine based on map information including curvature information. According to an embodiment, the processor 110 may receive map information from an external server through the communication unit 130. In addition, the processor 110 may also receive information, such as whether an accident has occurred, from the external server through the communication unit 130. The processor 110 may acquire information such as whether an accident has occurred or not through V2X technology. Based on the information obtained from the outside, the processor 110 may determine whether external vehicles in the image are on a road with a high curvature or an accident cluster.
  • the processor 110 may identify the current location of the vehicle 1000 using the GPS module 221, and obtain map information of the location where the vehicle 1000 is currently located. In addition, the processor 110 may identify an external vehicle on the road having a curvature greater than a preset curvature among a plurality of external vehicles in the image, based on the acquired map information.
  • the processor 110 may select a vehicle for calculating the rollover risk index, and may calculate the rollover risk index for the corresponding vehicle.
  • the rollover risk may be determined as a ratio of left and right loads of a vehicle.
  • the formula is as follows.
  • h Height to the vehicle's center of gravity relative to the vehicle's roll center (usually near the vehicle's axle)
  • Lateral line acceleration normal centripetal acceleration, generally the vehicle's traveling direction is x-axis, left direction is y-axis
  • the bank angle can be known in several ways. For example, based on the map information and the information obtained through the GPS module 221, the processor 110 can identify the exact location of the vehicle 1000, such as the distance between the vehicle 1000 and the external vehicle, relative speed, etc. The relative location of the external vehicle can also be identified using the relative measurement value, and the bank angle can be calculated by projecting it on map information.
  • the vehicle's dynamic parameters are classified based on the image acquired through the camera, the vehicle's type or class (eg, sedan, SUV, bus, truck, etc.) You can refer to the average parameters of the type.
  • the rollover risk index can be developed as follows.
  • the roll angle of the vehicle the rate of change of the angle in the roll direction of the vehicle ( ), the rollover risk index can be calculated.
  • the processor 110 may obtain the rate of change between the roll angle of the external vehicle and the roll direction angle of the vehicle based on the image acquired through the camera 224.
  • an AI model trained by an AI algorithm may be used.
  • the processor 110 may input an image of an external vehicle into the artificial intelligence model learned by the artificial intelligence algorithm to obtain a rate of change of the roll angle and the roll direction angle of the external vehicle. For example, using deep learning, an artificial intelligence model that learns a roll angle of a vehicle with respect to an image obtained by photographing a vehicle may be generated, and the processor 110 may use the learned artificial intelligence model to generate an image. The rate of change of the roll angle and the roll direction angle of the included external vehicle can be obtained.
  • the processor 110 may predict the rollover risk index after a short time using Equation (4). This will be described in detail below.
  • the Taylor Series can predict any physical state after a short time. If Equation (4) is used, the predicted rollover index (PRI) can be calculated through the following mathematical development. In general, the calculation of the predicted rollover risk index is effective only for a short time of 1 second or less.
  • Equation (5) it is possible to calculate not only the rollover risk index of the external vehicle at the current time t, but also the predicted rollover risk index for a short time ( ⁇ t). Means that the rate calculated by Equation (4) is calculated in real time.
  • the processor 110 may calculate the rollover risk index using Equation (4) or Equation (5).
  • the rollover risk index of the vehicle 1000 as well as the external vehicle may be calculated.
  • the processor 110 may obtain characteristic parameter values of the vehicle 1000 based on the type or model name of the vehicle 1000 previously stored in the memory 120.
  • the processor 110 may acquire a rate of change of the roll angle and the roll direction angle of the vehicle 1000 based on the image acquired through the camera 224.
  • the processor 110 may input an image acquired through the camera 224 to an AI model trained by the AI algorithm to obtain a rate of change of the vehicle 1000 and the roll direction angle.
  • the processor 110 may calculate the rollover risk index of the vehicle 1000 by applying the characteristic parameter values of the vehicle 1000 obtained as described above, and the rate of change of the roll angle and the roll direction angle to Equation (4) or (5). .
  • the processor 110 may determine that the vehicle has a possibility of overturning when the calculated rollover risk index is greater than a preset rollover risk index.
  • the processor 110 may be an external vehicle within a predetermined distance from the vehicle 1000 or an external vehicle that is expected to be overturned, for example, when the rollover risk index currently calculated is smaller than the preset rollover risk index, for example, Vehicles over a predetermined height, vehicles on a road with a curvature higher than a predetermined curvature, and vehicles in an accident-prone zone can be continuously monitored to calculate the rollover risk index.
  • the preset rollover risk index for example, Vehicles over a predetermined height, vehicles on a road with a curvature higher than a predetermined curvature, and vehicles in an accident-prone zone can be continuously monitored to calculate the rollover risk index.
  • the processor 110 may perform a predetermined operation according to the calculated rollover risk index.
  • the preset operation is an operation of controlling the display 241 to display information for notifying the danger, an operation of controlling the speaker 242 to output a danger notification sound, and a driving established by establishing a driving strategy of the vehicle 1000 It may include at least one of the operation of controlling the display 241 to display information on the strategy, the operation of controlling the vehicle driving unit 230 according to the established driving strategy.
  • the processor 110 may provide a notification to the user.
  • the processor 110 may control the output unit 240 to notify the user of a dangerous situation.
  • the processor 110 may control the display 241 to display information informing a danger situation. For example, as illustrated in FIG. 4, information informing the electronic device 100 of a dangerous situation may be displayed.
  • the processor 110 may control the speaker 242 to output a warning sound.
  • the processor 110 may control the haptic module 243 to vibrate at least one of the steering wheel, seat belt, and seat of the vehicle 1000.
  • the processor 110 may control the output unit 240 to provide a notification for this even when the rollover risk index calculated for the vehicle 1000 is greater than a preset rollover risk index.
  • the processor 110 may control the vehicle 1000 to avoid an external vehicle having a rollover risk index greater than a preset rollover risk index.
  • the preset user action relates to an appropriate response to the corresponding risk. For example, when there is a risk in the side, the preset user action accelerates the vehicle 1000. In the absence of such a preset user action, the vehicle 1000 may be automatically controlled. For example, the processor 110 may steer the vehicle 1000 from an external vehicle having a rollover risk index greater than a predetermined rollover risk index. At least one of the control module 231 and the shift control module 232 may be controlled.
  • the processor 110 may establish a driving strategy based on a vehicle having a calculated rollover risk index greater than a predetermined rollover risk index.
  • the driving strategy may include at least one of speed change, route change, and lane change.
  • the processor 110 establishes a different driving strategy depending on whether an external vehicle having a calculated rollover risk index greater than a predetermined rollover risk index is located in the front, rear, or side of the vehicle 1000. can do.
  • the processor 110 may perform a deceleration within the maximum acceleration/deceleration limit of the vehicle. You can establish a driving strategy that judges if a dangerous situation can be prevented, slows down if it can be prevented, and steers if it cannot be prevented. In the case of the rollover risk index, it is calculated as a value of -1 to +1, so it can be determined in which direction the rollover will occur. Therefore, it is possible to establish a driving strategy that allows the overturn to steer in the opposite direction from the expected direction.
  • the processor 110 is within the acceleration within the maximum acceleration capability of the vehicle 1000, when an external vehicle having a calculated rollover risk index greater than a predetermined rollover risk index is located on the side of the vehicle 1000 It is possible to establish whether or not to evade from the external vehicle within a predetermined threshold time, to accelerate if it can be avoided, and to decelerate and to prepare a driving strategy to prepare for the avoidance strategy against forward risk while decelerating.
  • the processor 110 is within an acceleration within the maximum acceleration capacity of the vehicle 1000.
  • FIG. 7 is a flowchart illustrating a method for calculating a rollover risk index and establishing a driving strategy according to one embodiment of the present disclosure.
  • the electronic device 100 receives an image acquired through the camera 224 (S710). Then, the electronic device 100 sets an ROI for specific objects in the image (S720). For example, ROI can be set for vehicles with high altitude, vehicles on roads with high curvature, and vehicles within an accident-prone zone.
  • the electronic device 100 may calculate a predicted rollover risk index (PRI) for vehicles with an ROI set (S730 ).
  • PRI predicted rollover risk index
  • the electronic device 100 identifies the type or specific model of the vehicles with the ROI set through the artificial intelligence model, and the vehicle characteristic parameters (from the specification database for the identified vehicle type, vehicle class, or vehicle model) ex. vehicle mass, roll damping coefficient, roll elastic modulus and wheel rotation) can be obtained.
  • the specification database may be stored in the electronic device 100 or may be stored in an external server. In the latter case, the electronic device 100 may receive information on characteristic parameters through the communication unit 130.
  • the electronic device 100 may determine whether there is a case where a predetermined rollover risk index, for example, is greater than 0.7 among the calculated rollover risk indexes (S740). When there is a case that is larger than the preset rollover risk index, it is possible to determine the type of the dangerous situation of the corresponding vehicle (S750).
  • a predetermined rollover risk index for example, is greater than 0.7 among the calculated rollover risk indexes (S740).
  • the shift control module 232 can be controlled to decelerate (S763). If it is not possible, it is possible to determine whether there is a right danger based on the calculated sign (+ or -) of the PRI (S765), and if there is a right danger, the steering control module 231 may be controlled to evade to the left ( S767), if there is a risk on the left side, the steering control module 231 may be controlled to avoid right (S769).
  • step S771 When the dangerous situation is on the side, it is determined whether it can be avoided through acceleration (S771), and if possible, the shift control module 232 can be controlled to accelerate (S773). If it is not possible, the process can proceed to step S761 as described above.
  • step S781 When the dangerous situation is in the rear, it is determined whether it is possible to avoid through acceleration (S781), and if possible, the shift control module 232 can be controlled to accelerate (S783). If it is not possible, the process can proceed to step S765 as described above.
  • the processor 110 may control the vehicle driving unit 230 based on the established driving strategy. Specifically, the processor 110 may generate a control signal to decelerate or accelerate at a speed determined according to the driving strategy and transmit it to the shift control module 232. Alternatively, a control signal for switching in a direction determined according to a driving strategy may be generated and transmitted to the steering control module 231.
  • the processor 110 does not directly control the vehicle driving unit 230, and transmits information on the established driving strategy to the vehicle driving unit 230, and the vehicle driving unit 230 is a separate computing device Including, it is possible to analyze the information received by the computing device to perform speed and/or steering control.
  • FIG. 8 is a flowchart illustrating a method for controlling an electronic device according to an embodiment of the present disclosure.
  • the flowchart illustrated in FIG. 8 may be configured with operations processed by the vehicle 1000 or the electronic device 100 described herein. Therefore, even if omitted below, the description of the vehicle 1000 or the electronic device 100 may be applied to the flowchart illustrated in FIG. 8.
  • the electronic device may receive an image acquired through a camera arranged to photograph the exterior of the vehicle (S810).
  • the electronic device calculates the rollover risk index of the external vehicle based on the image of the external vehicle included in the acquired image (S820).
  • the rollover risk index may be calculated for all external vehicles included in the acquired image, but it is also possible to calculate the rollover risk index only for selected parts.
  • the rollover risk index may be calculated for all external vehicles, but a priority may be determined as to which vehicle to calculate the rollover risk index.
  • the electronic device may preferentially calculate the rollover risk index of an external vehicle that is predicted to have a rollover risk.
  • External vehicles that are predicted to be at risk of tipping over may include high-height vehicles, vehicles on roads with high curvature, and vehicles in accident-prone areas.
  • the electronic device when a plurality of external vehicles are included in the acquired image, the electronic device first identifies an external vehicle having a height higher than or equal to a predetermined height among the plurality of external vehicles, and preferentially determines the rollover risk index of the identified external vehicle. Can be calculated.
  • the electronic device inputs images of the plurality of external vehicles into the AI model learned by the AI algorithm to obtain information about the types of the plurality of external vehicles, and based on the acquired information, the plurality of Among the external vehicles, an external vehicle having a height higher than or equal to the predetermined height may be identified.
  • the electronic device may obtain information on the type of each vehicle by inputting images of a plurality of external vehicles with a ROI set (images of a square region) into the artificial intelligence model.
  • a ROI set images of a square region
  • the electronic device when a plurality of external vehicles are included in the acquired image, the electronic device identifies an external vehicle on the road having a curvature greater than a preset curvature among the plurality of external vehicles, and the identified external vehicle
  • the rollover risk index can be calculated preferentially.
  • the electronic device may acquire map information of a location where the vehicle is currently located, and identify an external vehicle on a road having a curvature greater than a preset curvature among a plurality of external vehicles based on the acquired map information.
  • a roll angle of the external vehicle is obtained, and the external vehicle is based on the obtained roll angle. Can be calculated.
  • the electronic device acquires a plurality of characteristic parameters for the external vehicle based on information on the type of the external vehicle obtained using the artificial intelligence model, and based on the plurality of characteristic parameters, determines the rollover risk index of the external vehicle. Can be calculated.
  • the electronic device may obtain characteristic parameters from a database (database stored in the external database or the memory 120) storing information about the specifications of the vehicle for each vehicle type or for each vehicle model.
  • the plurality of characteristic parameters for the external vehicle may include a mass of the external vehicle, a roll damping coefficient, a roll elastic modulus, and a wheel.
  • the electronic device may obtain the characteristic parameter of the host vehicle from the database.
  • the electronic device may perform a predetermined operation according to the calculated rollover risk index (S830).
  • the electronic device may provide a notification to the user.
  • a notification may be provided through the display of the electronic device 100 implemented as a smartphone.
  • the electronic device may, for example, warn to avoid collision while changing lanes, warn if there is a possibility of collision at a crossing point on the road, warning to stop driving due to the surrounding environment, and other things at intersections when turning left/right. It is also possible to notify the possibility of collision with the vehicle, to maintain a safe distance from the vehicle in front to avoid a rear collision, and to perform actions such as transmitting braking information to surrounding vehicles during an emergency braking.
  • the electronic device may control the vehicle to avoid from the external vehicle.
  • the preset user action is related to a proper response to a current dangerous situation. For example, when the user is decelerating the vehicle after a notification is provided when there is a danger that the external vehicle may be overturned in front of the vehicle, the electronic device may determine that there is a preset user action. However, if there is no such user action, the vehicle can be controlled to decelerate automatically.
  • FIG. 9 is a diagram for explaining an artificial intelligence module 900 according to an embodiment of the present disclosure that may be included in the electronic device 100, the vehicle 1000, or an external server (not shown).
  • the artificial intelligence module 900 may be included in the memory 120 and executed by the processor 110. Also, the artificial intelligence module 900 may be included in the memory of the external server, and may be executed by the processor of the server.
  • the artificial intelligence module 900 may include a learning unit 910 and an analysis unit 920.
  • the learning unit 910 may generate or train an artificial intelligence model using learning data.
  • the learning unit 910 may generate a model trained to have a criterion for identifying the type and class (eg, sedan, SUV, bus, etc.) of the corresponding vehicle from an image obtained by photographing a vehicle with a camera. By learning to identify a specific vehicle, it is possible to distinguish even the specific model of the vehicle.
  • the learning unit 910 may generate a model trained to have a criterion for determining a roll angle and a change rate of a roll direction angle of a corresponding vehicle from an image obtained by photographing a vehicle.
  • the learning unit 910 may generate a model trained to have a criterion for determining a roll angle and roll direction angle change rate of a vehicle based on an image obtained through a camera arranged to photograph the outside of the vehicle.
  • the models trained as described above may be, for example, a model based on a neural network.
  • the object recognition model may be designed to simulate a human brain structure on a computer and may include a plurality of network nodes having weights, simulating neurons of a human neural network. A plurality of network nodes may each form a connection relationship so that neurons simulate synaptic activity of neurons that send and receive signals through synapses.
  • the trained models may include, for example, a neural network model or a deep learning model developed from a neural network model. In the deep learning model, a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolution connection relationship. Examples of the object recognition model may include, but are not limited to, Deep Neural Network (DNN), Recurrent Neural Network (RNN), and Bidirectional Recurrent Deep Neural Network (BRDNN).
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • the analysis unit 920 may input data into the trained model to obtain result data.
  • the analysis unit 920 may input the image acquired through the camera 224 into the trained model, and obtain data as a result of identifying the type of vehicle in the image.
  • the analysis unit 920 may input the image acquired through the camera 224 to the trained model, and obtain information about the roll angle and roll direction angle change rate of the vehicle in the image.
  • the analysis unit 920 may input the image acquired through the camera module 224 into the trained model, and obtain information about the roll angle and roll direction angle change rate of the vehicle 1000.
  • At least a portion of the learning unit 910 and at least a portion of the analysis unit 920 may be implemented as a software module or manufactured in at least one hardware chip and mounted on an electronic device.
  • at least one of the learning unit 910 and the analysis unit 920 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, CPU or application) processor) or a graphics-only processor (for example, a GPU), which is produced as part of the electronic device 100, the vehicle 1000, or the artificial intelligence model using the analysis result to provide the electronic device 100 or the vehicle 1000 It can be mounted on a server.
  • AI artificial intelligence
  • an existing general-purpose processor eg, CPU or application
  • a graphics-only processor for example, a GPU
  • the dedicated hardware chip for artificial intelligence is a dedicated processor specialized in probabilistic computation, and has higher parallel processing performance than the conventional general-purpose processor, and thus can rapidly process computational tasks in the field of artificial intelligence such as machine learning.
  • the learning unit 910 and the analysis unit 920 are implemented as a software module (or a program module including an instruction)
  • the software module is a computer readable non-transitory readable recording medium (non- transitory computer readable media).
  • the software module may be provided by an operating system (OS) or may be provided by a predetermined application. Alternatively, some of the software modules may be provided by an operating system (OS), and the other may be provided by a predetermined application.
  • the learning unit 910 and the analysis unit 920 may be mounted on one electronic device, or may be mounted on separate electronic devices.
  • one of the learning unit 910 and the analysis unit 920 may be included in the electronic device 100, and the other one may be included in the external server.
  • the learning unit 910 and the analysis unit 920 may provide the model information constructed by the learning unit 910 to the analysis unit 920 through wired or wireless, or input to the learning unit 910. Data may be provided to the learning unit 910 as additional learning data.
  • FIG. 10 is a block diagram of a learning unit 910 according to an embodiment.
  • the learning unit 910 may include a learning data acquisition unit 910-1 and a model learning unit 910-4. Also, the learning unit 910 may optionally further include at least one of a learning data pre-processing unit 910-2, a training data selection unit 910-3, and a model evaluation unit 910-5.
  • the learning data acquisition unit 910-1 may acquire learning data to train a model for determining vehicle recognition, a roll angle of a vehicle, and a rate of change in the roll direction angle from an image.
  • the learning data may be data collected or tested by the learning unit 910 or the manufacturer of the learning unit 910.
  • the model learning unit 910-4 may train the model to have a standard on how to understand, recognize, recognize, judge, and infer the input data using the training data.
  • the model learning unit 910-4 may train the model through supervised learning using at least a part of the learning data as a judgment criterion.
  • the model learning unit 910-4 for example, learns the model by itself using training data without much guidance, through unsupervised learning to discover judgment criteria for judgment of the situation. Can be learned.
  • the model learning unit 910-4 may train the model, for example, through reinforcement learning using feedback on whether a result of situation determination according to learning is correct.
  • the model learning unit 910-4 may train a model using, for example, a learning algorithm including an error back-propagation or a gradient descent method.
  • the model learning unit 910-4 may determine, as a model to learn, a model having a large relationship between input learning data and basic learning data when a plurality of pre-built models exist.
  • the basic learning data may be pre-classified for each type of data
  • the model may be pre-built for each type of data.
  • the basic learning data may be pre-classified based on various criteria such as a region where learning data is generated, a time when learning data is generated, a size of learning data, a genre of learning data, and a creator of learning data.
  • the model learning unit 910-4 may store the trained model.
  • the model learning unit 910-4 may store the trained model in the memory 120 or a memory of an external server.
  • the learning unit 910 further includes a training data pre-processing unit 910-2 and a training data selection unit 910-3 in order to improve the processing power of the model or to save resources or time required to generate the model. You may.
  • the learning data pre-processing unit 910-2 may pre-process the acquired data so that the acquired data can be used for learning for situation determination.
  • the learning data pre-processing unit 910-2 may process the acquired data in a predetermined format so that the model learning unit 910-4 can use the acquired data for learning for situation determination.
  • the learning data selection unit 910-3 may select data required for learning from data acquired by the learning data acquisition unit 910-1 or data preprocessed by the learning data preprocessing unit 910-2.
  • the selected learning data may be provided to the model learning unit 910-4.
  • the learning data selection unit 910-3 may select learning data necessary for learning from acquired or preprocessed data according to a preset selection criterion.
  • the learning data selection unit 910-3 may select learning data according to a preset selection criterion by learning by the model learning unit 910-4.
  • the learning unit 910 may further include a model evaluation unit 910-5 to improve the processing power of the model.
  • the model evaluation unit 910-5 may input evaluation data into the model, and if the result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 910-4 may cause the model learning unit 910-4 to train the model again.
  • the evaluation data may be predefined data for evaluating the model.
  • the model evaluation unit 910-5 does not satisfy a predetermined criterion when the number or ratio of evaluation data in which the analysis result is not accurate among the analysis results of the trained model for the evaluation data exceeds a preset threshold. It can be evaluated as failed.
  • the model evaluator 910-5 may evaluate whether or not a predetermined criterion is satisfied for each trained model, and determine a model that satisfies the predetermined criterion as a final model. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 910-5 may determine, as a final model, any one or a predetermined number of models preset in order of highest evaluation score.
  • FIG. 11 is a block diagram of an analysis unit 920 according to an embodiment.
  • the analysis unit 920 may include a data acquisition unit 920-1 and an analysis result providing unit 920-4.
  • the analysis unit 920 may further include at least one of a data pre-processing unit 920-2, a data selection unit 920-3, and a model updating unit 920-5.
  • the data acquisition unit 920-1 may acquire data necessary for analysis.
  • the analysis result providing unit 920-4 may provide the result of inputting the data obtained from the data acquisition unit 920-1 to the trained model.
  • the analysis result providing unit 920-4 may provide analysis results according to the purpose of analyzing the data.
  • the analysis result providing unit 920-4 may obtain analysis results by applying the data selected by the data pre-processing unit 920-2 or the data selection unit 920-3, which will be described later, to the recognition model as an input value.
  • the results of the analysis can be determined by the model.
  • the analysis unit 920 may further include a data pre-processing unit 920-2 and a data selection unit 920-3 to improve analysis results of the model or to save resources or time for providing analysis results. It might be.
  • the data pre-processing unit 920-2 may pre-process the acquired data so that the acquired data can be used for situation determination.
  • the data pre-processing unit 920-2 may process the acquired data in a predefined format so that the analysis result providing unit 920-4 can use the acquired data.
  • the data selection unit 920-3 may select data necessary for situation determination from data acquired by the data acquisition unit 920-1 or data preprocessed by the data preprocessing unit 920-2.
  • the selected data may be provided to the analysis result providing unit 920-4.
  • the data selector 920-3 may select some or all of the obtained or preprocessed data according to a preset selection criterion for determining the situation.
  • the data selection unit 920-3 may select data according to a preset selection criterion by learning by the model learning unit 910-4.
  • the model update unit 920-5 may control the model to be updated based on the evaluation of the analysis result provided by the analysis result providing unit 920-4. For example, the model update unit 920-5 provides the analysis result provided by the analysis result providing unit 920-4 to the model learning unit 910-4, so that the model learning unit 910-4 You can request to further learn or update the model.
  • a system can be constructed at a relatively low cost without installing an expensive sensor and installed. And easy to apply. Furthermore, a more advanced rollover risk warning and prevention system can be constructed by accurately calculating the rollover risk index and predicting a short time later.
  • embodiments described above may be implemented by software, hardware, or a combination thereof.
  • embodiments described in the present disclosure include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) ), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • controllers micro-controllers
  • microprocessors and other electrical units for performing other functions.
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • FPGAs field programmable gate arrays
  • processors controllers
  • Various embodiments of the present disclosure may be implemented with software that includes instructions that can be stored on a machine (eg, computer) readable storage media.
  • a machine is a device that can call a stored command from a storage medium and is operable according to the called command, and may include the electronic device 100 of the disclosed embodiments.
  • the processor may perform functions corresponding to the instructions directly or by using other components under the control of the processor.
  • Instructions may include code generated or executed by a compiler or interpreter.
  • the instructions stored in the storage medium are executed by the processor, so that the above-described control method of the electronic device can be executed.
  • a command stored in a storage medium is executed by a processor of a device (or an electronic device), thereby receiving an image obtained through a camera arranged to photograph the outside of the vehicle, of an external vehicle included in the acquired image
  • a control method of the electronic device may be performed, including calculating a rollover index of the external vehicle and performing a predetermined operation according to the calculated rollover risk index.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium.
  • non-transitory' means that the storage medium does not contain a signal and is tangible, but does not distinguish between data being stored semi-permanently or temporarily on the storage medium.
  • a method according to various embodiments disclosed in this document may be provided as being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as products.
  • Computer program products may be distributed online in the form of storage media readable by the device (eg compact disc read only memory (CD-ROM)) or through an application store (eg Play StoreTM, App StoreTM). have.
  • an application store eg Play StoreTM, App StoreTM
  • at least a portion of the computer program product may be temporarily stored at least temporarily in a storage medium such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • Each component may be composed of a singular or a plurality of entities, and some of the aforementioned sub-components may be omitted, or other sub-components may be various. It may be further included in the embodiment. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity, performing the same or similar functions performed by each corresponding component before being integrated. According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallelly, repeatedly, or heuristically executed, at least some operations may be executed in a different order, omitted, or other operations may be added. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

차량 주변의 위험 요소를 감지하기 위한 전자 장치가 개시된다. 본 전자 장치는, 통신부, 적어도 하나의 컴퓨터 실행 가능 명령어를 저장하는 메모리, 적어도 하나의 컴퓨터 실행 가능 명령어를 실행하는 프로세서를 포함하며, 프로세서는, 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 통신부를 통해 수신하고, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 산출된 전복위험지수에 따라 기설정된 동작을 수행한다.

Description

차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
본 개시는 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법에 대한 것으로, 더욱 상세하게는 차량에 탑재된 카메라를 통해 획득된 영상을 바탕으로 차량 주변에 있는 외부 차량의 전복위험지수를 산출할 수 있는 전자 장치 및 이의 제어방법에 대한 것이다.
일반적으로 차량이 롤오버(rollover)되는 경우, 재산피해는 물론 인명피해가 막대하다. 롤(Roll)은 차량의 폭방향의 거동을 지칭하는 것이고, 롤오버는 차량이 옆으로 움직이거나 전복되는 것을 뜻한다. 차량의 전복은, 일반적으로 차량이 선회할 때 차량의 무게중심이 선회방향에 대해 바깥쪽으로 이동하게 되고, 이에 의하여 선회 내측의 바퀴가 지면으로부터 떨어지게 될 때 발생하게 된다.
종래에는 차량의 전복을 방지하기 위해, 전복될 것으로 예측되는 상황에 차량의 운전자에게 적절한 경고를 제공하는 등의 방식이 이루어졌다. 전복의 위험은 차량에 구비된 각종 센서에 의해 감지 가능하였다.
그러나, 차량의 전복은, 전복이 발생한 차량뿐만 아니라 그 주변 차량에 입히는 피해도 매우 크다. 따라서, 자차량뿐만 아니라 외부 차량의 전복 위험도를 감지하는 것이 필요하다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 차량에 탑재된 카메라를 통해 획득된 영상을 바탕으로 차량 주변의 위험 요소, 특히 차량 주변에 있는 외부 차량의 전복위험지수를 산출할 수 있는 전자 장치 및 이의 제어방법을 제공함에 있다.
특히, 주행 중인 차량에 탑재된 카메라로부터 획득된 영상으로부터 주행 중인 차량의 전방 또는 후방, 측면에 인접하여 위치한 차량들의 전복위험지수를 산출하고, 전복위험지수에 따라 차량의 전복가능성을 판단하여 전복가능성이 있는 차량을 고려한 차량의 주행 전략을 수립하고, 차량을 수립된 주행 전략에 따라 구동하도록 제어하는 전자 장치 및 제어방법을 제공함에 있다.
본 개시의 일 실시 예에 따른, 차량 주변의 위험 요소를 감지하기 위한 전자 장치는, 통신부, 적어도 하나의 컴퓨터 실행 가능 명령어를 저장하는 메모리, 상기 적어도 하나의 컴퓨터 실행 가능 명령어를 실행하는 프로세서를 포함하며, 상기 프로세서는, 상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 상기 통신부를 통해 수신하고, 상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 상기 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다.
이 경우, 상기 프로세서는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 상기 프로세서는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
한편, 상기 프로세서는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 상기 프로세서는, 상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
한편, 상기 프로세서는, 인공지능 알고리즘에 의해 학습된 제2 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 롤각(roll angle)을 획득하고, 상기 획득한 롤각을 기초로 상기 외부 차량의 전복위험지수를 산출할 수 있다.
한편, 상기 프로세서는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 유형에 대한 정보를 획득하고, 상기 외부 차량의 유형에 대한 정보를 바탕으로 상기 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 상기 복수의 특성 파라미터에 기초하여 상기 외부 차량의 전복위험지수를 산출할 수 있다.
이 경우, 상기 외부 차량에 대한 복수의 특성 파라미터는, 상기 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다.
한편, 상기 프로세서는, 상기 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다.
이 경우, 상기 프로세서는, 상기 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 상기 외부 차량으로부터 회피하도록 상기 차량을 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른, 차량 주변의 위험 요소를 감지하기 위한 전자 장치를 제어하는 방법은, 상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신하는 단계, 상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하는 단계 및 상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 단계를 포함한다.
이 경우, 상기 전복위험지수를 산출하는 단계는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하는 단계 및 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계를 포함할 수 있다.
이 경우, 상기 식별하는 단계는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
한편, 상기 전복위험지수를 산출하는 단계는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는 단계 및 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계를 포함할 수 있다.
이 경우, 상기 식별하는 단계는, 상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
한편, 상기 전복위험지수를 산출하는 단계는, 인공지능 알고리즘에 의해 학습된 제2 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 롤각(roll angle)을 획득하고, 상기 획득한 롤각을 기초로 상기 외부 차량의 전복위험지수를 산출할 수 있다.
한편, 상기 전복위험지수를 산출하는 단계는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 유형에 대한 정보를 획득하고, 상기 외부 차량의 유형에 대한 정보를 바탕으로 상기 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 상기 복수의 특성 파라미터에 기초하여 상기 외부 차량의 전복위험지수를 산출할 수 있다.
이 경우, 상기 외부 차량에 대한 복수의 특성 파라미터는, 상기 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다.
한편, 상기 기설정된 동작을 수행하는 단계는, 상기 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다.
이 경우, 상기 기설정된 동작을 수행하는 단계는, 상기 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 상기 외부 차량으로부터 회피하도록 상기 차량을 제어할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 차량을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 차량의 구성을 설명하기 위한 블럭도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도,
도 4는 스마트폰으로 구현된 본 개시의 일 실시 예에 따른 전자 장치를 나타낸 도면,
도 5 내지 도 6은 카메라를 통해 획득된 영상에서 전복위험도가 높은 차량에 ROI(Region Of Interest)를 설정하는 본 개시의 다양한 실시 예를 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어방법을 설명하기 위한 흐름도, 그리고,
도 8은 본 개시의 또 다른 실시 예에 따른 전자 장치의 제어방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른 인공지능 모듈을 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 학습부의 블록도, 그리고
도 11은 본 개시의 일 실시 예에 따른 분석부의 블록도 이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 개시에서 기술되는 차량은, 예컨대, 승용차, 트럭, 오토바이, 버스 등과 같은 것일 수 있다. 본 개시에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다. 차량은 운전자의 조작 없이 주행환경을 인식하고 차량을 제어함으로써 스스로 운행할 수 있는 자율주행차(Autonomous Vehicle) 또는 무인 자동차(Unmanned Vehicle, Driverless Car)일 수 있다. 또는 차량은 운전자 조작에 의해 주행하는 수동 조작 차량이거나, 수동 조작 및 자율 주행 방식이 조합된 차량일 수 있다.
본 개시에서는 주행 중인 차량의 전복에 대한 위험성을 판단할 수 있는 지수로서, 전복위험지수를 이용한다. 전복위험지수는 차량 고유의 특성파라미터 값 및 차량의 롤각, 롤 방향 각도의 변화율을 이용해 산출할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 차량(1000)의 외관을 도시한 도면이다.
차량(1000)의 전방, 측방 및 후방 중 적어도 하나에 적어도 하나의 카메라가 배치될 수 있다. 전방 카메라는 차량(1000)의 전방(10)을 촬영하도록 배치될 수 있고, 측방 카메라는 차량(1000)의 측방(20, 30)을 촬영하도록 배치될 수 있고, 후방 카메라는 차량(1000)의 후방(40)을 촬영하도록 배치될 수 있다.
이와 같이 차량(1000)에 구비된 카메라를 통해 획득된 영상을 바탕으로, 차량(1000)은 차량(1000)의 전방 또는 후방, 측면에 인접하여 위치한 차량들의 전복위험지수를 산출하고, 전복위험지수를 기 설정된 전복위험지수와 비교하여 전복 위험 여부를 판단하고, 전복 위험이 있는 차량을 고려한 차량의 주행 전략을 수립하고, 수립된 주행 전략에 따라 구동하도록 차량을 제어할 수 있다.
이하 도 2를 참고하여 차량(1000)의 구성에 대해 구체적으로 설명하도록 한다.도 2는 본 개시의 일 실시 예에 따른 차량(1000)의 구성을 설명하기 위한 블럭도이다.
일 실시 예에 따르면, 차량(1000)은 컴퓨팅 장치(210), 센싱부(220), 차량 구동부(230), 출력부(240), 사용자 입력부(250), 무선 통신부(260)를 포함할 수 있다. 차량(1000)은 실시 형태에 따라, 도 2에 도시된 구성들 중 일부를 불포함하거나, 도시되지 않은 다른 구성을 더 포함할 수 있다.
컴퓨팅 장치(210)는 프로세서(110) 및 메모리(120)를 포함할 수 있다. 메모리(120)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 메모리(120)는 프로세서(110)에 의해 액세스되며, 프로세서(110)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 메모리(120)는 프로세서(110)에 의해 실행 가능한 인스트럭션들(instructions)을 저장할 수 있다.
프로세서(110)는 차량(1000)에 포함된 다수의 구성들을 제어할 수 있고 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(110)는 메모리(120)에 저장된 인스트럭션들을 실행하여 다양한 기능을 수행할 수 있다. 프로세서(110)는 CPU(central processing unit) 또는 GPU(graphics-processing unit)이거나 둘 다일 수 있다. 프로세서(110)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer) 등으로 구현될 수 있다.
센싱부(220)는 차량(1000)와 관련한 다양한 정보를 획득하기 위한 구성이다. 센싱부(220)는 예컨대 도 2에 도시된 바와 같이 GPS 모듈(221), 레이더(RADAR, radio detection and ranging) 모듈(222), 라이더(LIDAR, light detection and ranging) 모듈(223), 카메라(224), 차량 상태 센싱 모듈(225)을 포함할 수 있다.
GPS 모듈(221)은 차량(1000)의 위치에 대한 정보를 획득하기 위한 회로(circuitry)를 포함한다. 프로세서(110)는 GPS 모듈(221)을 이용하여, GPS 위성에서 보내는 신호를 바탕으로 차량(1000)의 위치에 대한 정보를 획득할 수 있다.
레이더 모듈(222)은 전파를 송신하고, 객체들(예를 들면, 외부 차량, 가로수, 가로등, 신호등, 교통표지판 등)로부터 반사되는 전파를 수신하기 위한 회로(circuitry)를 포함한다. 프로세서(110)는 수신된 전파를 바탕으로 차량(1000)과 객체와의 거리 및 상대 속도에 대한 정보를 획득할 수 있다.
라이더 모듈(223)은 광(light)을 송신하고, 객체들로부터 반사되는 광을 수신하기 위한 회로(circuitry)를 포함한다. 프로세서(110)는 수신된 광을 바탕으로 차량(1000)과 객체와의 거리 및 상대 속도에 대한 정보를 획득할 수 있다.
카메라(224)는 차량(1000) 주변의 환경을 촬영하기 위한 구성이다. 카메라(224)는 예컨대 전방 카메라, 후방 카메라 및 측방 카메라 중 적어도 하나를 포함할 수 있다.
전방 카메라는 차량(1000)의 전방을 촬영하도록 배치될 수 있다. 전방 카메라는 두 개의 렌즈를 포함하는 스테레오 카메라일 수 있다. 하나의 렌즈를 가지는 모노 카메라로 구현되는 것도 가능하다.
측방 카메라는 차량(1000)의 측방을 촬영하도록 배치될 수 있다. 측방 카메라는 차량(1000)의 좌측 및/또는 우측에 배치될 수 있다. 측방 카메라도 스테레오 카메라 또는 모노 카메라로 구현될 수 있다.
후방 카메라는 차량(1000)의 후방을 촬영하도록 배치될 수 있다. 후방 카메라도 스테레오 카메라 또는 모노 카메라로 구현될 수 있다.
프로세서(110)는 카메라(224)를 통해 획득된 영상 내 포함된 객체와 차량(1000)의 상대 속도, 객체와 차량(1000)의 거리를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 스테레오 카메라로 구현된 카메라(224)를 통해 획득된 영상으로부터 스테레오 매칭(stereo matching) 기법을 통해 깊이 맵을 획득할 수 있다. 깊이 맵을 바탕으로 객체와의 거리, 객체와의 상대 속도, 복수의 객체 간의 거리를 식별할 수 있다.
또 다른 실시 예에 따르면, 프로세서(110)는 모노 카메라로 구현된 카메라(224)을 통해 획득된 영상 내의 객체의 크기를 기초로 객체와의 거리, 객체의 크기 변화를 기초로 상대 속도를 식별할 수 있다. 예컨대, 영상 내에서 객체 크기와 객체와의 거리 간의 관계를 학습시킨 인공지능 모델을 이용하여 모노 카메라를 통해 획득한 영상으로 객체와의 거리를 식별할 수 있다. 이러한 인공지능 모델은 영상 내에서 객체의 크기와, 레이더 모듈(222) 또는 라이더 모듈(223)를 통해 식별된 객체와의 거리 간의 관계를 학습시켜 생성할 수 있다.
차량 상태 센싱 모듈(225)은 차량(1000)의 각종 상황을 센싱하기 위한 구성이다. 차량 상태 센싱 모듈(225)은 차량(1000)의 속도를 측정하기 위한 속도 센서, 차량(1000)의 요레이트(회전 각속도)를 측정하기 위한 요 센서(yaw sensor), 차량의 각속도를 측정하기 위한 자이로 센서(gyro sensor), 온도 센서, 습도 센서 등을 포함할 수 있다. 이 밖에도 다양한 센서가 포함될 수 있다.
차량 구동부(230)는 차량(1000)의 운행과 관련한 각종 구성을 제어할 수 있다.
차량 구동부(230)는 조향 제어 모듈(231), 변속 제어 모듈(232)을 포함할 수 있다.
조향 제어 모듈(231)은 차량(1000)의 조향 바퀴의 방향 전환에 대한 제어를 수행할 수 있다. 조향 바퀴는 조향 입력에 따라 방향이 전환되는 바퀴로서, 스티어링 휠에 의한 사용자의 조향 입력에 따라 조향 바퀴는 왼쪽 또는 오른쪽 방향으로 전환할 수 있다. 스티어링 휠을 통한 사용자의 수동 조작이 없이도, 특정한 상황에서 프로세서(110)는 조향 제어 모듈(231)을 제어하여 조향 바퀴의 방향을 전환할 수 있다. 예컨대, 프로세서(110)는 외부 차량의 전복 위험이 감지된 상황에서 조향 바퀴의 방향을 전환시키도록 조향 제어 모듈(231)을 제어할 수 있다.
변속 제어 모듈(232)은 차량(1000)의 속도에 대한 제어를 수행할 수 있다. 변속 제어 모듈은 차량(1000)이 가속 또는 감속되도록 제어할 수 있다. 수동 방식에 의하면 사용자는 가속 페달 또는 브레이크 페달을 밟아 차량(1000)의 속도를 제어할 수 있다. 이러한 수동의 사용자 조작 없이도, 특정한 상황에서, 프로세서(110)는 변속 제어 모듈(232)을 제어하여, 차량(1000)의 속도를 감속하거나 가속시킬 수 있다. 예컨대, 프로세서(110)는 외부 차량의 전복 위험이 감지된 상황에서 차량(1000)이 가속 또는 감속되도록 변속 제어 모듈(232)을 제어할 수 있다.
이와 같이 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 조향 제어 모듈(231) 및 변속 제어 모듈(232) 중 적어도 하나를 제어하여 차량(1000)이 전복 가능성이 있는 외부 차량을 회피하도록 할 수 있다.
출력부(240)는 디스플레이(241), 스피커(242) 및 햅틱 모듈(243)을 포함할 수 있다.
디스플레이(241)는 영상을 표시하기 위한 구성으로서, 액정 디스플레이(Liquid Crystal Display: LCD) 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED)를 포함할 수 있다. 실시 예에 따라, 디스플레이(241)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이(241)가 HUD로 구현되는 경우, 차량(1000)의 윈드 쉴드(windshield)에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다.
스피커(242)는 사운드를 출력하기 위한 구성이다. 햅틱 모듈(243)은 촉각적인 출력을 발생시키기 위한 회로를 포함한다. 예컨대 햅틱 모듈은 차량(1000)의 스티어링 휠, 안전 벨트, 시트를 진동시킬 수 있다.
프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 출력부(240)를 제어하여 사용자에게 위험 상황을 알릴 수 있다. 예컨대, 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 위험 상황을 알리는 정보를 표시하도록 디스플레이(241)를 제어할 수 있다. 또 다른 예로, 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 경고음을 출력하도록 스피커(242)를 제어할 수 있다. 또 다른 예로, 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 차량(1000)의 스티어링 휠, 안전 벨트 및 시트 중 적어도 하나를 진동시키도록 햅틱 모듈(243)을 제어할 수 있다.
사용자 입력부(250)는 사용자 입력을 받기 위한 구성으로, 버튼, 터치 패널 등과 같은 입력 장치를 포함할 수 있다. 일 실시 예에 따르면, 차량(1000)은 터치 패널과 디스플레이(241)가 결합된 터치 스크린을 포함할 수 있다.
프로세서(110)는 사용자 입력부를 통해 입력되는 사용자 입력에 기초하여 차량(1000)의 기능들을 제어할 수 있다.
무선 통신부(260)는 외부 장치와 통신을 수행하기 위한 구성이다. 무선 통신부(260)는 블루투스, IEEE 802.11(IEEE 802.11 개정들을 포함함)에 기술된 통신 프로토콜들, 셀룰러 기술(예를 들어, GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE), 지그비(Zigbee), 전용 단거리 통신(DSRC, Dedicated Short Range Communications), 및 무선 주파수 식별(RFID, Radio Frequency Identification) 통신과 같은 무선 통신에 따라 통신하도록 구성될 수 있다.
예컨대 무선 통신부(260)는 차량(1000) 주행 중에 차량(1000) 주변에 존재하는 외부 차량, 각종 서버, 시스템 등과 실시간으로 접속하여 데이터를 주고 받을 수 있다.
무선 통신부(260)를 통해 다양한 외부 장치와 통신을 수행함으로써, 차량(1000)은 V2X(Vehicle to Everything)를 구현할 수 있다. V2X는 자동차와 자동차(V2V, Vehicle to Vehicle), 자동차와 인프라기지국(V2I, Vehicle to Infrastructure), 자동차와 보행자(V2P, Vehicle to Pedestrian), 자동차와 네트워크(V2N, Vehicle to Network), 자동차와 클라우드(V2C, Vehicle to Cloud) 등과 같은 정보교환을 위한 무선통신기술을 통칭하는 개념이다.
프로세서(110)는 메모리(120)에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 차량(1000)의 외부를 촬영하도록 배치된 카메라(224)를 통해 획득된 영상을 통신부(130)를 통해 수신하고, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다.
여기서 기 설정된 동작은 위험을 알리기 위한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 위험 알림음을 출력하도록 스피커(242)를 제어하는 동작, 차량(1000)의 주행 전략을 수립하여 수립된 주행 전략에 대한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 수립된 주행 전략에 따라 차량 구동부(230)를 제어하는 동작 중 적어도 하나를 포함할 수 있다.
프로세서(110)가 전복위험지수를 산출하는 방법에 대해선 이하에서 좀 더 구체적으로 설명하도록 한다.
차량(1000)의 구성들은 시스템 버스, 네트워크 또는 기타 통신 방식을 통해 서로 통신할 수 있다.
한편, 차량(1000)의 구성들이 차량(1000)에 통합된 것으로 도시되었으나, 일부 구성은 차량(1000)에 탈착 가능하능하게 장착되거나, 또는 유선, 무선 연결 방식으로 차량(1000)에 연결될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 도면이다.
전자 장치(100)는 앞서 설명한 컴퓨팅 장치(210)를 포함할 수 있다. 즉, 전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함할 수 있으며, 통신부(130)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 차량(1000)과 별도의 장치로 구현되어, 차량(1000)의 구성들과 통신부(130)를 통해 유선 또는 무선 통신 방식으로 연결될 수 있고, 차량(1000)의 구성들을 제어할 수 있다. 예컨대, 전자 장치(100)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 웨어러블 장치(wearable device) 등으로 구현될 수 있다.
일 실시 예에 따르면, 통신부(130)는 근거리 통신을 수행할 수 있다. 근거리 통신의 예로, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 등이 있다.
도 4는 전자 장치(100)가 차량과 별도의 장치로 구현된 예로서, 스마트 폰으로 구현된 경우를 도시한 것이다. 예컨대, 사용자가 스마트폰으로 구현된 전자 장치(100)를 가지고 차량(1000)에 탑승한 경우, 전자 장치(100)는 자동으로 또는 사용자의 애플리케이션 실행에 의해 차량(1000)과 근거리 통신 방식으로 다이렉트 통신 연결될 수 있다.
또 다른 실시 예에 따르면, 전자 장치(100)는 차량(1000)에 포함된 장치로 구현될 수 있다. 이 경우, 통신부(130)는 차량 통신 네트워크를 통해 차량(1000)의 구성들과 통신할 수 있다. 차량 통신 네트워크는 예컨대 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(FlexRay), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등의 통신 규약을 채용할 수 있다.
또 다른 실시 예에 따르면, 통신부(130)는 외부 장치와 통신을 수행할 수 있다. 일 실시 예에 따르면 통신부(130)는 무선 인터넷 기술에 따라 외부 장치와 통신할 수 있다. 무선 인터넷 기술로는, 예컨대 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다. 예를 들면, 전자 장치(100)는 무선 인터넷을 통해 외부 서버와 데이터를 교환할 수 있다. 교환하는 데이터의 예로서, 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보, 지도 정보 등이 있을 수 있다. 실시 예에 따라 통신부(130)는 앞서 설명한 무선 통신부(260)일 수 있다.
프로세서(110)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 메모리(120)에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 차량(1000)의 외부를 촬영하도록 배치된 카메라(224)를 통해 획득된 영상을 통신부(130)를 통해 수신하고, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다.
여기서 기 설정된 동작은 위험을 알리기 위한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 위험 알림음을 출력하도록 스피커(242)를 제어하는 동작, 차량(1000)의 주행 전략을 수립하여 수립된 주행 전략에 대한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 수립된 주행 전략에 따라 차량 구동부(230)를 제어하는 동작 중 적어도 하나를 포함할 수 있다.
영상에 포함된 외부 차량의 전복위험지수를 산출하는 방법에 대해선 이하에서 구체적으로 설명하도록 한다.
영상에 포함된 차량의 전복위험지수를 산출하기 위해 먼저, 프로세서(110)는 영상에서 배경으로부터 객체를 구별하는 영상 세그멘테이션(segmentation) 알고리즘을 활용하여 영상 내에 포함된 객체를 식별할 수 있다. 여기서 객체는 차량뿐만 아니라 표지판, 분리대 등 다양한 객체를 포함할 수 있다.
그리고 프로세서(110)는 식별된 객체들 중 차량을 인식(Classification)할 수 있다. 구체적으로, 차량을 인식하기 위해 학습된 인공지능 모델을 이용하여 차량을 인식할 수 있다. 단순히 차량임을 인식할 수도 있고, 또는 차량의 유형(Sedan, SUV, 버스 등)까지도 인식할 수 있도록 학습된 인공지능 모델이 이용될 수 있다. 이러한 모델은 다양한 유형의 차량의 이미지를 학습 데이터로 하여 학습될 수 있다. 특정 차량을 구별하도록 학습시키면 차량의 구체적인 모델명까지 획득할 수 있다.
또한, 프로세서(110)는 인식된 차량의 제원을 공개된 데이터베이스로부터 불러와, 해당 차량의 특성 파라미터 값들을 획득할 수 있다. 특성 파라미터 값들은 예컨대, 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다. 특성 파라미터 값들은 이하 좀 더 자세히 설명하겠지만 전복위험지수를 산출하는데 이용된다.
인공지능 모델을 이용해서 차량의 구체적인 모델명까지 획득해낸 경우라면, 해당 모델명을 가진 차량의 제원을 이용해서 특성 파라미터 값들을 획득할 수 있고, 단순히 차량의 유형만을 인식한 경우라면 해당 유형의 차량의 평균적인 특성 파라미터 값들로 전복위험지수를 산출할 수 있다.
그리고 프로세서(110)는 인식된 차량들 중 전복위험지수를 산출할 차량을 선정할 수 있다. 인식된 차량들 전부에 대해 전복위험지수를 산출할 수 있지만, 프로세서(110)는 오검출의 위험성을 줄이고 차량(1000)의 안전 확보에 주목하기 위해, 차량(1000)과 가까운 외부 차량들, 그리고 전복 가능성이 있을 것이라고 예상되는 외부 차량들에 대해 우선적으로 전복위험지수를 산출할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 차량(1000)과 가까운 외부 차량들(기 설정된 거리 이내에 있는 외부 차량들), 전복 가능성이 있을 것이라고 예상되는 외부 차량들에 ROI(Region Of Interest)를 설정하고, ROI가 설정된 외부 차량들의 전복위험지수를 우선적으로 산출할 수 있다. 또한 프로세서(110)는 ROI가 설정된 외부 차량들에 대해선 차량(1000)과 기 설정된 범위 내에 있는 동안에는 지속적으로 트래킹하며 전복위험지수를 산출할 수 있다.
프로세서(110)는 카메라(224)를 통해 획득된 영상 혹은 다른 방법, 예컨대 레이더 모듈(222), 라이더 모듈(223)을 통해, 외부 차량들의 상대적인 위치를 식별할 수 있다. 카메라(224)는 촬영 범위가 매우 넓으므로 수많은 차량들이 인식되는 경우가 많은데 그 중 특히 프로세서(110)는 차량(1000)과 기 설정된 거리 이내에 있는 외부 차량들에 ROI를 설정할 수 있다.
차량의 전복은 원운동시 발생하는 횡방향 가속도에 의해 발생하는데, 일반적으로 같은 횡방향 가속도를 받더라도 차량의 무게중심이 높은 경우 차량동역학적으로 전복 가능성이 높다. 따라서 프로세서(110)는 카메라 (224)를 통해 획득된 영상에 복수의 외부 차량이 포함된 경우, 각각의 외부 차량의 유형을 구분하여, 전고가 기 설정된 높이 이상인 차량들(예: 상용차량, SUV 등)을 식별하고, 식별된 외부 차량들에 ROI를 설정할 수 있다. 도 5는 주행 중인 차량에 탑재된 카메라를 통해 획득된 영상을 도시한 것으로, 전고가 높은 외부 차량에 ROI를 설정한 경우의 예시를 나타낸 도면이다.
일 실시 예에 따르면, 영상에 복수의 외부 차량이 포함된 경우, 프로세서(110)는 인공지능 알고리즘에 의해 학습된 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
프로세서(110)는 이와 같은 인공지능 모델을 외부 서버로부터 통신부(130)를 통해 다운로드하여 이용할 수 있다. 또 다른 실시 예에 따르면, 프로세서(110)는 이와 같은 인공지능 모델을 구비하는 외부 서버에, 카메라(224)를 통해 획득된 영상을 전송하고, 외부 서버로부터 영상 내 차량의 유형에 대한 정보, 전고에 대한 정보 등을 수신할 수 있다.
또한 프로세서(110)는 곡률이 심한 지역이나 사고다발구역이 예상되는 경우 해당 구역에 있는 차량들에 대해 우선적으로 전복위험지수를 산출할 수 있다. 원운동에 의한 횡가속도는 곡률의 심하기에 비례하므로 프로세서(110)는 곡률이 심한 도로(곡률이 기 설정된 곡률보다 큰 도로)위의 차량들에 ROI를 설정할 수 있다. 사고다발구역의 경우 곡률이 심한 도로이거나 도로의 특성상 상대적으로 급격한 조종성을 필요로 하는 도로일 수 있다. 따라서 전복 사고 발생 확률이 상대적으로 높으므로 프로세서(110)는 사고다발구역의 차량들에 ROI를 설정할 수 있다. 도 6은 주행 중인 차량에 탑재된 카메라를 통해 획득된 영상을 도시한 것으로, 곡률이 심한 도로에 있는 외부 차량들에 ROI를 설정한 경우의 예시를 나타낸 도면이다.
일 실시 예에 따르면, 프로세서(110)는 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
프로세서(110)는 곡률이 심한지 여부 등을 카메라(224)를 통해 획득된 도로 영상을 통해 식별하거나, 또는 곡률 정보를 포함하는 지도 정보를 기초로 판단할 수 있다. 일 실시 예에 따르면, 프로세서(110)는 외부 서버로부터 지도 정보를 통신부(130)를 통해 수신할 수 있다. 또한, 프로세서(110)는 사고 다발 여부와 같은 정보도 외부 서버로부터 통신부(130)를 통해 수신할 수 있다. 프로세서(110)는 V2X 기술을 통해 사고 다발 여부와 같은 정보를 획득할 수 있다. 프로세서(110)는 이와 같이 외부로부터 획득한 정보들을 바탕으로, 영상 내의 외부 차량들이 곡률이 심한 도로에 있는지, 사고 다발 구역에 있는지 등을 판단할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 GPS 모듈(221)을 이용하여 차량(1000)의 현재 위치를 식별할 수 있고, 차량(1000)이 현재 위치한 곳의 지도 정보를 획득할 수 있다. 그리고 프로세서(110)는 획득한 지도 정보에 기초하여, 영상 내의 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
상술한 바와 같이 프로세서(110)는 전복위험지수를 산출할 차량을 선정하고, 해당 차량에 대해 전복위험지수를 산출할 수 있다.
전복위험지수(Rollover Index)를 산출하는 방식은 여러 방법이 있다. 일 예로, 차량의 좌우 하중의 비율로 전복위험도를 결정할 수 있다. 이를 수식으로 나타내면 아래와 같다.
Figure PCTKR2019095052-appb-img-000001
...(1)
F zR : 차량의 우측 수직 하중
F zL : 차량의 좌측 수직 하중
위와 같이 전복 위험 지수를 산출하면 -1 내지 +1 사이의 값을 얻을 수 있고 0은 좌우 하중 분포가 동일한 경우로 가장 안전한 상태이고 -1 혹은 +1의 경우 하중이 한 쪽으로 완전하게 쏠린 경우로 전복이 발생했다고 판단할 수 있는 경우이다. 전복위험지수를 정확하게 산출하기 위해선 좌우 하중분포를 직접 측정해야 하는 것이나, 하중분포 센서의 가격과 설치 비용이성을 고려하였을 때, 직접 측정이 상대적으로 어렵다. 따라서 아래와 같이 수식을 전개하여서 다른 방식으로 전복위험지수를 산출할 수도 있다.
Figure PCTKR2019095052-appb-img-000002
...(2)
h : 차량의 roll center(일반적으로 차량의 차축 근처)를 기준으로 차량의 무게중심까지의 높이
d : 윤거(바퀴간 거리)
a y : 횡방향 선가속도(일반적으로 구심가속도, 일반적으로 차량의 진행방향이 x축, 왼쪽 방향이 y축)
g : 중력가속도(일반적으로 9.801m/s 2)
Figure PCTKR2019095052-appb-img-000003
: 차량의 Roll 방향으로의 각도(Roll angle)
상기 수식 (2)의 경우 a y,
Figure PCTKR2019095052-appb-img-000004
의 측정 값이 필요하다. a y의 경우 일반적으로 차량에 부가적으로 고가의 센서를 설치하여야 측정이 가능한데, 아래 수식 (3)을 이용해서 센서 없이도 측정이 가능하다. 도로에 뱅크각(Bank Angle)이 있는 경우 아래 수식 (3)과 같이 횡방향 가속도에 반영이 되고, 이를 고려하여 전복 위험 지수(RI)를 산출할 수 있다.
뱅크각은 여러 가지 방법으로 알 수 있다. 예컨대, 지도 정보와 GPS 모듈(221)을 통해 획득된 정보를 바탕으로 프로세서(110)는 차량(1000)의 정확한 위치를 식별할 수 있고, 차량(1000)과 외부 차량의 거리, 상대 속도 등과 같이 상대적인 측정 값을 이용하여 외부 차량의 정확한 위치도 식별할 수 있으며, 이를 지도 정보에 투영하여 뱅크각을 산출할 수 있다.
Figure PCTKR2019095052-appb-img-000005
... (3)
v y: 횡방향 선속도
v x: 종방향 선속도(일반적으로 직진 주행 상황에서 차량의 속도)
Figure PCTKR2019095052-appb-img-000006
: Yaw rate(차량이 회전하는 속도)
Figure PCTKR2019095052-appb-img-000007
: 도로의 Roll 방향으로 기울어진 정도
외부 차량의 동역학적 파라미터들(특성 파라미터들)은, 카메라를 통해 획득된 영상을 바탕으로 해당 차량의 유형 혹은 등급(class)(예컨대, 세단(Sedan), SUV, 버스, 트럭 등)이 분류된다면 해당 유형의 평균적인 파라미터들을 참고할 수 있다. 또한 전복위험지수는 아래와 같이 수식을 전개할 수도 있다
Figure PCTKR2019095052-appb-img-000008
... (4)
C Υ: 차량의 Roll Motion을 간단한 Mass, Spring, Damper의 모델로 간단히 간주하였을 때의 롤댐핑계수(높을수록 Roll 방향 속도에 대한 저항이 큼)
K Υ: 차량의 Roll Motion을 간단한 Mass, Spring, Damper의 모델로 간단히 간주하였을 때의 롤탄성계수(높을수록 Roll 방향 변화에 대한 저항이 큼)
Figure PCTKR2019095052-appb-img-000009
: 차량의 Roll 방향 각도의 변화율
m: 차량의 질량
수식 (4)를 이용할 경우 차량의 롤각(Roll Angle,
Figure PCTKR2019095052-appb-img-000010
), 차량의 롤 방향 각도의 변화율(
Figure PCTKR2019095052-appb-img-000011
)만 알 수 있다면 전복위험지수를 산출할 수 있다.
프로세서(110)는 외부 차량의 롤각과 차량의 롤 방향 각도의 변화율을 카메라(224)을 통해 획득된 영상을 바탕으로 획득할 수 있다. 일 실시 예에 따르면, 인공지능 알고리즘에 의해 학습된 인공지능 모델을 이용할 수 있다.
구체적으로, 프로세서(110)는 인공지능 알고리즘에 의해 학습된 인공지능 모델에 외부 차량의 영상을 입력하여 외부 차량의 롤각 및 롤 방향 각도의 변화율을 획득할 수 있다. 예컨대, 딥러닝을 이용하여, 차량을 촬영하여 획득된 영상에 대한 차량의 롤각을 학습시킨 인공지능모델을 생성할 수 있고, 프로세서(110)는 이와 같이 학습된 인공지능모델을 이용해서, 영상에 포함된 외부 차량의 롤각 및 롤 방향 각도의 변화율을 획득할 수 있다.
또한, 프로세서(110)는 수식 (4)를 이용하여 짧은 시간 이후의 전복위험지수를 예측할 수 있다. 이에 관해서는 이하에서 자세하게 설명한다.
현재의 물리적인 상태(롤 방향의 속도 등)가 짧은 시간 동안 유지된다고 간주한다면 테일러 시리즈(Taylor Series)를 통해 짧은 시간 이후의 어떠한 물리적인 상태를 예측할 수 있다. 수식 (4)를 이용한다면 아래와 같은 수학적 전개를 통해 예측전복위험지수(Predicted Rollover Index(PRI))를 산출할 수 있다. 일반적으로 1초 이하의 짧은 시간에 관해서만 예측전복위험지수의 산출이 유효하다.
Figure PCTKR2019095052-appb-img-000012
… (5)
즉, 수식 (5)를 이용해서, 현재 시점(t)에서 외부 차량의 전복위험지수뿐만 아니라, 나아가 짧은 시간(△t) 예측된 전복위험지수를 산출할 수 있다.
Figure PCTKR2019095052-appb-img-000013
는 수식 (4)로 산출된 값을 실시간으로 변화율을 산출한다는 의미이다.
프로세서(110)는 상기 수식(4) 또는 수식(5)를 이용해서 전복위험지수를 산출할 수 있다.
한편, 본 개시의 또 다른 실시 예에 따르면 외부 차량뿐만 아니라 차량(1000)의 전복위험지수도 산출할 수 있다. 이를 위해, 프로세서(110)는 메모리(120)에 기 저장된 차량(1000)의 유형 또는 모델명을 바탕으로 차량(1000)의 특성 파라미터 값들을 획득할 수 있다.
그리고 프로세서(110)는 카메라(224)를 통해 획득된 영상을 바탕으로 차량(1000)의 롤각 및 롤 방향 각도의 변화율을 획득할 수 있다. 예컨대, 프로세서(110)는 인공지능 알고리즘에 의해 학습된 인공지능 모델에 카메라(224)를 통해 획득한 영상을 입력하여 차량(1000)의 및 롤 방향 각도의 변화율을 획득할 수 있다.
프로세서(110)는 이와 같이 획득한 차량(1000)의 특성 파라미터 값들, 롤각 및 롤 방향 각도의 변화율을 수식 (4) 또는 (5)에 적용하여 차량(1000)의 전복위험지수를 산출할 수 있다.
프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우에 해당 차량이 전복 가능성이 있는 것으로 판단할 수 있다.
프로세서(110)는 현재 산출된 전복위험지수가 기 설정된 전복위험지수보다 작은 경우라도 차량(1000)과 기 설정된 거리 이내에 있는 외부 차량들 또는 전복 가능성이 있을 것이라고 예상되는 외부 차량들, 즉 예컨대 전고가 기 설정된 높이 이상인 차량들, 곡률이 기 설정된 곡률보다 높은 도로 위에 있는 차량들, 사고 발생 다발 구역 내에 있는 차량들에 대해서는 지속적으로 모니터링하여 전복위험지수를 산출할 수 있다.
프로세서(110)는 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다. 여기서 기 설정된 동작은 위험을 알리기 위한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 위험 알림음을 출력하도록 스피커(242)를 제어하는 동작, 차량(1000)의 주행 전략을 수립하여 수립된 주행 전략에 대한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 수립된 주행 전략에 따라 차량 구동부(230)를 제어하는 동작 중 적어도 하나를 포함할 수 있다.
구체적으로, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다.
예컨대, 프로세서(110)는 외부 차량에 대해 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 출력부(240)를 제어하여 사용자에게 위험 상황을 알릴 수 있다. 일 실시 예에 따르면, 프로세서(110)는 위험 상황을 알리는 정보를 표시하도록 디스플레이(241)를 제어할 수 있다. 예컨대, 도 4에 도시한 것처럼 전자 장치(100)에 위험 상황을 알리는 정보가 표시될 수 있다. 또 다른 예로, 프로세서(110)는 경고음을 출력하도록 스피커(242)를 제어할 수 있다. 또 다른 예로, 프로세서(110)는 차량(1000)의 스티어링 휠, 안전 벨트 및 시트 중 적어도 하나를 진동시키도록 햅틱 모듈(243)을 제어할 수 있다.
또한, 프로세서(110)는 차량(1000)에 대해 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우에도 이에 대한 알림을 제공하도록 출력부(240)를 제어할 수 있다.
프로세서(110)는 상기와 같이 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량으로부터 회피하도록 차량(1000)을 제어할 수 있다. 여기서 기 설정된 사용자 액션은 해당 위험에 대한 적절한 대처에 관한 것으로, 예컨대 측방에 위험이 있는 경우에 기 설정된 사용자 액션은 차량(1000)을 가속시키는 것이다. 이러한 기 설정된 사용자 액션이 없는 경우에는 자동으로 차량(1000)을 제어할 수 있는데, 예컨대, 프로세서(110)는 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량으로부터 차량(1000)이 회피하도록 조향 제어 모듈(231) 및 변속 제어 모듈(232) 중 적어도 하나를 제어할 수 있다.
또한 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 차량을 기반으로 주행 전략을 수립할 수 있다. 여기서 주행 전략이란 속도 변경, 경로 변경 및 차선 변경 중 적어도 하나를 포함할 수 있다.
이 경우, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 전방에 위치하는지, 후방에 위치하는지, 측방에 위치하는지에 따라 다른 주행 전략을 수립할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 전방에 위치한 경우, 경우, 차량의 최대 감가속도 한계 내에서 감속을 통해 위험 상황을 방지할 수 있는지 판단하고, 방지할 수 있다면 감속하고, 방지할 수 없다면 조향하도록 하는 주행 전략을 수립할 수 있다. 전복위험지수의 경우 -1 내지 +1의 값으로 산출되기 때문에 어느 방향으로 전복이 일어날지 판단할 수 있다. 따라서 전복이 예상되는 방향의 반대방향으로 조향하도록 하는 주행 전략을 수립할 수 있다.
또 다른 실시 예에 따르면, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 측방에 위치한 경우, 차량(1000)의 최대 가속능력 내의 가속도 내에서 기 설정된 임계 시간 내에 해당 외부 차량으로부터 회피할 수 있는지 여부를 판단하고, 회피할 수 있다면 가속하고, 회피할 수 없다고 판단되면 감속하면서 전방 위험에 대한 회피 전략을 준비하는 주행 전략을 수립할 수 있다. 또 다른 실시 예에 따르면, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 후방에 위치한 경우, 차량(1000)의 최대 가속능력 내의 가속도 내에서 기 설정된 임계 시간 내에 해당 외부 차량으로부터 회피할 수 있는지 여부를 판단하고, 회피할 수 있다면 가속하고, 회피할 수 없다고 판단되면 조향하도록 하는 주행 전략을 수립할 수 있다. 전복위험지수의 경우 -1 내지 +1의 값으로 산출되기 때문에 어느 방향으로 전복이 일어날지 판단할 수 있다. 따라서 전복이 예상되는 방향의 반대방향으로 조향하도록 하는 주행 전략을 수립할 수 있다.
한편, 후방 차량의 경우, 산출된 전복위험지수가 기 설정된 전복위험지수보다 작더라도, 전복 가능성이 있을 것이라고 예상되는 외부 차량들, 즉 예컨대 전고가 기 설정된 높이 이상인 차량들, 곡률이 기 설정된 곡률보다 높은 도로 위에 있는 차량들, 사고 발생 다발 구역 내에 있는 차량들에 대해서는 지속적으로 트래킹하며 전복위험지수를 산출할 수 있다.
도 7은 본 개시의 일 실시 예에 따른, 전복위험지수 산출 및 이에 따른 주행 전략 수립 방법의 흐름도를 도시한 것이다.
도 7을 참고하면, 먼저 전자 장치(100)는 카메라(224)를 통해 획득된 영상을 입력받는다(S710). 그리고 전자 장치(100)는 영상 내에서 특정 대상들에 ROI를 설정한다(S720). 예컨대, 전고가 높은 차량들, 곡률이 심한 도로 위의 차량들, 사고발생다발 구역 내의 차량들에 ROI를 설정할 수 있다.
그리고 전자 장치(100)는 ROI가 설정된 차량들에 대해, 예측전복위험지수(PRI)를 산출할 수 있다(S730). 이 경우, 전자 장치(100)는 ROI가 설정된 차량들의 유형 또는 구체적인 모델을 인공지능 모델을 통해 식별하고, 식별된 차량 유형, 차량 등급(class) 또는 차량 모델에 대한 제원 데이터베이스로부터 챠량 특성 파라미터들(ex. 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거)를 획득할 수 있다. 이러한 제원 데이터베이스는 전자 장치(100)에 저장되어 있거나, 외부 서버에 저장되어 있을 수 있다. 후자의 경우 전자 장치(100)는 통신부(130)를 통해 특성 파라미터에 대한 정보를 수신할 수 있다.
그리고 전자 장치(100)는 산출된 전복위험지수들 중에서 기 설정된 전복위험지수, 예컨대, 0.7보다 큰 경우가 있는지 판단할 수 있다(S740). 기 설정된 전복위험지수보다 큰 경우가 있는 경우, 해당 차량의 위험 상황의 종류를 판단할 수 있다(S750).
위험 상황이 전방에 있는 경우, 감속을 통해 회피 가능한지 판단하고(S761), 가능한 경우에는 감속하도록 변속제어모듈(232)를 제어할 수 있다(S763). 가능하지 않은 경우에는, 산출된 PRI의 부호(+ 또는 -)에 기반하여 우측 위험성이 있는지 판단하고(S765), 우측 위험성이 있는 경우에는 좌로 회피하도록 조향제어모듈(231)을 제어할 수 있고(S767), 좌측 위험성이 있는 경우에는 우로 회피하도록 조향제어모듈(231)을 제어할 수 있다(S769).
위험 상황이 측방에 있는 경우, 가속을 통해 회피 가능한지 판단하고(S771), 가능한 경우에는 가속하도록 변속제어모듈(232)를 제어할 수 있다(S773). 가능하지 않은 경우라면 상술한 것과 같은 S761 단계로 진행할 수 있다.
위험 상황이 후방에 있는 경우, 가속을 통해 회피 가능한지 판단하고(S781), 가능한 경우에는 가속하도록 변속제어모듈(232)를 제어할 수 있다(S783). 가능하지 않은 경우라면 상술한 것과 같은 S765 단계로 진행할 수 있다.
상술한 바와 같이 주행 전략이 수립되면, 프로세서(110)는 수립된 주행 전략을 바탕으로 차량 구동부(230)를 제어할 수 있다. 구체적으로, 프로세서(110)는 주행 전략에 따라 결정된 속도로 감속 또는 가속하도록 하는 제어 신호를 생성하여 변속 제어 모듈(232)에 전송할 수 있다. 또는, 주행 전략에 따라 결정된 방향으로 전환하도록 하는 제어 신호를 생성하여 조향 제어모듈(231)에 전송할 수 있다.
또 다른 실시 예에 따르면, 프로세서(110)는 직접 차량 구동부(230)를 제어하지 않고, 수립된 주행 전략에 대한 정보를 차량 구동부(230)에 전달하고, 차량 구동부(230)는 별도의 컴퓨팅 장치를 포함하여, 컴퓨팅 장치가 수신한 정보를 해석하여 속도 및/또는 조향 제어를 할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치를 제어하기 위한 방법을 설명하기 위한 흐름도이다. 도 8에 도시된 흐름도는 본 명세서에서 설명되는 차량(1000) 또는 전자 장치(100)에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 차량(1000) 또는 전자 장치(100)에 관하여 기술된 내용은 도 8에 도시된 흐름도에도 적용될 수 있다.
도 8을 참고하면, 전자 장치는 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신할 수 있다(S810).
그리고 전자 장치는 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수를 산출한다(S820).
획득된 영상에 포함된 모든 외부 차량에 대해서 전복위험지수를 산출하는 것이 가능하나, 선별된 일부에 대해서만 전복위험지수를 산출할 수도 있다. 또는, 모든 외부 차량에 대해 전복위험지수를 산출하되, 어떤 차량부터 전복위험지수를 산출할 것인지에 대한 우선순위를 결정할 수도 있다.
전자 장치는 전복 위험이 있을 것으로 예측되는 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다. 전복 위험이 있을 것으로 예측되는 외부 차량은 전고가 높은 차량, 곡률이 심한 도로 위의 차량, 사고 다발 구역 내의 차량을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 획득된 영상에 복수의 외부 차량이 포함된 경우, 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하고, 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 전자 장치는, 인공지능 알고리즘에 의해 학습된 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
예컨대, 도 6을 참고하면, 전자 장치는 ROI가 설정된 복수의 외부 차량의 영상(사각형 영역의 영상)을 인공지능모델에 입력하여 각 차량의 유형에 대한 정보를 획득할 수 있다.
또 다른 실시 예에 따르면, 전자 장치는 획득된 영상에 복수의 외부 차량이 포함된 경우, 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 전자 장치는 차량이 현재 위치한 곳의 지도 정보를 획득하고, 획득한 지도 정보에 기초하여 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
전복위험지수를 산출하는 방법으로는, 예컨대, 인공지능 알고리즘에 의해 학습된 인공지능 모델에 외부 차량의 영상을 입력하여 외부 차량의 롤각(roll angle)을 획득하고, 획득한 롤각을 기초로 외부 차량의 전복위험지수를 산출할 수 있다.
또 다른 예로, 전자 장치는 인공지능모델을 이용해 획득한 외부 차량의 유형에 대한 정보를 바탕으로 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 복수의 특성 파라미터에 기초하여 외부 차량의 전복위험지수를 산출할 수 있다. 예컨대, 전자 장치는 차량 유형별로, 또는 차량 모델별로, 차량의 제원에 대한 정보를 저장한 데이터베이스(외부 데이터베이스 또는 메모리(120)에 저장된 데이터베이스)로부터 특성 파라미터를 획득할 수 있다. 외부 차량에 대한 복수의 특성 파라미터는, 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다. 자차량의 전복위험지수를 산출하고자 하는 경우에는, 전자 장치는 데이터베이스로부터 자차량의 특성 파라미터를 획득할 수 있다.
그리고 전자 장치는 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다(S830).
일 실시 예에 따르면, 전자 장치는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다. 예컨대, 도 4를 참고하면, 스마트폰으로 구현된 전자 장치(100)의 디스플레이를 통해 그러한 알림이 제공될 수 있다.
전복 위험 알림뿐만 아니라, 전자 장치는, 예컨대, 차선을 변경하는 동안 충돌을 피하기 위한 경고, 도로상의 교차 지점에서 충돌 가능성이 있을 경우 경고, 주변환경에 따른 주행 멈춤 경고, 좌/우회전 시 교차로에서 다른 차량과의 충돌 가능성을 알림, 후방 충돌을 피하기 위해 정면 차량과의 안전한 거리를 유지하기 위한 경고, 비상 제동 시 주변 차량에 제동 정보 전송 등의 동작을 수행할 수도 있다.
또한, 전자 장치는 상기와 같이 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 외부 차량으로부터 회피하도록 차량을 제어할 수 있다. 여기서 기 설정된 사용자 액션이란, 현재 위험 상황에 대한 적절한 대처와 관련된다. 예컨대, 차량의 전방에서 외부 차량이 전복될 위험이 있는 경우 이에 대한 알림이 제공된 이후에, 사용자가 차량을 감속시킨 경우, 전자 장치는 기 설정된 사용자 액션이 있는 것으로 판단할 수 있다. 그러나 이와 같은 사용자 액션이 없는 경우에는, 자동으로 감속하도록 차량을 제어할 수 있다.
도 9는 전자 장치(100), 차량(1000) 또는 외부 서버(미도시)에 포함될 수 있는 본 개시의 일 실시 예에 따른, 인공 지능 모듈(900)을 설명하기 위한 도면이다. 인공 지능 모듈(900)은 메모리(120)에 포함될 수 있고, 프로세서(110)에 의해 실행될 수 있다. 또한 인공 지능 모듈(900)은 외부 서버의 메모리에 포함될 수 있고, 서버의 프로세서에 의해 실행될 수 있다.
인공 지능 모듈(900)은 학습부(910)와 분석부(920)를 포함할 수 있다.
학습부(910)는 학습 데이터를 이용하여 인공 지능 모델을 생성 또는 학습시킬 수 있다.
일 예로, 학습부(910)는 카메라로 차량을 촬영하여 획득한 영상으로부터 해당 차량의 유형, 등급(ex. 세단, SUV, 버스 등)을 식별하는 기준을 갖도록 학습된 모델을 생성할 수 있다. 특정 차량을 식별하도록 학습시키면 차량의 구체적인 모델까지 구별해낼 수 있다. 또 다른 예로, 학습부(910)는 차량을 촬영하여 획득한 영상으로부터 해당 차량의 롤각(roll angle) 및 롤 방향 각도 변화율을 판단하는 기준을 갖도록 학습된 모델을 생성할 수 있다. 또 다른 예로, 학습부(910)는 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 바탕으로 차량의 롤각 및 롤 방향 각도 변화율을 판단하는 기준을 갖도록 학습된 모델을 생성할 수 있다.
이와 같이 학습된 모델들은, 예로, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 객체 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 또한 학습된 모델들은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 객체 인식 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.
분석부(920)는 데이터를 학습된 모델에 입력하여 결과 데이터를 얻을 수 있다.
일 예로, 분석부(920)는 카메라(224)를 통해 획득한 영상을, 학습된 모델에 입력하여, 영상 내 차량의 유형을 식별한 결과 데이터를 획득할 수 있다. 또 다른 예로, 분석부(920)는 카메라(224)를 통해 획득한 영상을, 학습된 모델에 입력하여, 영상 내 차량의 롤각 및 롤 방향 각도 변화율에 대한 정보를 획득할 수 있다. 또 다른 예로, 분석부(920)는 카메라 모듈(224)를 통해 획득한 영상을, 학습된 모델에 입력하여, 차량(1000)의 롤각 및 롤 방향 각도 변화율에 대한 정보를 획득할 수 있다.
학습부(910)의 적어도 일부 및 분석부(920)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 학습부(910) 및 분석부(920) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 전자 장치(100), 차량(1000) 또는, 인공지능 모델을 이용한 분석 결과를 전자 장치(100) 또는 차량(1000)으로 제공하는 서버에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 학습부(910) 및 분석부(920)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
학습부(910) 및 분석부(920)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(910) 및 분석부(920) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 외부 서버에 포함될 수 있다. 또한, 학습부(910) 및 분석부(920)는 유선 또는 무선으로 통하여, 학습부(910)가 구축한 모델 정보를 분석부(920)로 제공할 수도 있고, 학습부(910)로 입력된 데이터가 추가 학습 데이터로서 학습부(910)로 제공될 수도 있다.
도 10은 일 실시 예에 따른 학습부(910)의 블록도이다.
도 10을 참조하면, 일부 실시 예에 따른 학습부(910)는 학습 데이터 획득부(910-1) 및 모델 학습부(910-4)를 포함할 수 있다. 또한, 학습부(910)는 학습 데이터 전처리부(910-2), 학습 데이터 선택부(910-3) 및 모델 평가부(910-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
학습 데이터 획득부(910-1)는 상술한 것과 같이 영상으로부터 차량 인식, 차량의 롤각 및 롤 방향 각도 변화율을 판단하기 위한 모델을 학습시키기 위해 학습 데이터를 획득할 수 있다.
학습 데이터는 학습부(910) 또는 학습부(910)의 제조사가 수집 또는 테스트한 데이터가 될 수도 있다.
모델 학습부(910-4)는 학습 데이터를 이용하여, 모델이 입력 데이터를 어떻게 이해, 인식, 인지, 판단, 추론 등을 할 것인지에 관한 기준을 갖도록 학습시킬 수 있다. 모델 학습부(910-4)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 모델을 학습시킬 수 있다. 또는, 모델 학습부(910-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 상황의 판단을 위한 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 모델을 학습시킬 수 있다. 또한, 모델 학습부(910-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 모델을 학습시킬 수 있다. 또한, 모델 학습부(910-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 모델을 학습시킬 수 있다
모델 학습부(910-4)는 미리 구축된 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 모델을 학습할 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
모델이 학습되면, 모델 학습부(910-4)는 학습된 모델을 저장할 수 있다. 예컨대, 모델 학습부(910-4)는 학습된 모델을 메모리(120) 또는 외부 서버의 메모리에 저장할 수 있다.
학습부(910)는 모델의 처리 능력을 향상시키거나, 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 학습 데이터 전처리부(910-2) 및 학습 데이터 선택부(910-3)를 더 포함할 수도 있다.
학습 데이터 전처리부(910-2)는 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 학습 데이터 전처리부(910-2)는 모델 학습부(910-4)가 상황 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(910-3)는 학습 데이터 획득부(910-1)에서 획득된 데이터 또는 학습 데이터 전처리부(910-2)에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(910-4)에 제공될 수 있다. 학습 데이터 선택부(910-3)는 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(910-3)는 모델 학습부(910-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습 데이터를 선택할 수도 있다.
학습부(910)는 모델의 처리 능력을 향상시키기 위하여, 모델 평가부(910-5)를 더 포함할 수도 있다.
모델 평가부(910-5)는 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(910-4)로 하여금 다시 모델을 학습시키도록 할 수 있다. 이 경우, 평가 데이터는 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
예를 들어, 모델 평가부(910-5)는 평가 데이터에 대한 학습된 모델의 분석 결과 중에서, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
한편, 학습된 모델이 복수 개가 존재하는 경우, 모델 평가부(910-5)는 각각의 학습된 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(910-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 모델로서 결정할 수 있다.
도 11은 일 실시 예에 따른 분석부(920)의 블록도이다.
도 11을 참조하면, 분석부(920)는 데이터 획득부(920-1) 및 분석 결과 제공부(920-4)를 포함할 수 있다. 또한, 분석부(920)는 데이터 전처리부(920-2), 데이터 선택부(920-3) 및 모델 갱신부(920-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
데이터 획득부(920-1)는 분석에 필요한 데이터를 획득할 수 있다. 분석 결과 제공부(920-4)는 데이터 획득부(920-1)에서 획득된 데이터를 학습된 모델에 입력한 결과를 제공할 수 있다. 분석 결과 제공부(920-4)는 데이터의 분석 목적에 따른 분석 결과를 제공할 수 있다. 분석 결과 제공부(920-4)는 후술할 데이터 전처리부(920-2) 또는 데이터 선택부(920-3)에 의해 선택된 데이터를 입력 값으로 인식 모델에 적용하여 분석 결과를 획득할 수 있다. 분석 결과는 모델에 의해 결정될 수 있다.
분석부(920)는 모델의 분석 결과를 향상시키거나, 분석 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 데이터 전처리부(920-2) 및 데이터 선택부(920-3)를 더 포함할 수도 있다.
데이터 전처리부(920-2)는 상황 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 데이터 전처리부(920-2)는 분석 결과 제공부(920-4)가 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다.
데이터 선택부(920-3)는 데이터 획득부(920-1)에서 획득된 데이터 또는 데이터 전처리부(920-2)에서 전처리된 데이터 중에서 상황 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 분석 결과 제공부(920-4)에게 제공될 수 있다. 데이터 선택부(920-3)는 상황 판단을 위한 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 데이터 선택부(920-3)는 모델 학습부(910-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(920-5)는 분석 결과 제공부(920-4)에 의해 제공되는 분석 결과에 대한 평가에 기초하여, 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(920-5)는 분석 결과 제공부(920-4)에 의해 제공되는 분석 결과를 모델 학습부(910-4)에게 제공함으로써, 모델 학습부(910-4)가 모델을 추가 학습 또는 갱신하도록 요청할 수 있다.
상술한 실시 예들에 따르면 자차량 또는 타차량의 전복위험을 카메라를 통해 획득된 영상을 활용하여 판단할 수 있기 때문에, 고가의 센서를 구비하지 않고도, 비교적 낮은 비용으로 시스템을 구축할 수 있으며, 설치 및 적용이 용이하다. 나아가 전복위험지수를 정확히 산출하고 짧은 시간 이후를 예측하여 더욱 고도화된 전복위험 경보 및 방지 시스템을 구성할 수 있다.
이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합으로 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 특히, 이상에서 설명된 다양한 실시 예들은 프로세서(110)에 의해 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장될 수 있는 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기(machine)는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들의 전자 장치(100)를 포함할 수 있다.
이러한 명령어가 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령어에 해당하는 기능을 수행할 수 있다. 명령어는 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 예컨대, 저장매체에 저장된 명령어가 프로세서에 의해 실행됨으로써, 상술한 전자 장치의 제어방법이 실행될 수 있다. 일 예로, 저장매체에 저장된 명령어가 기기(또는 전자 장치)의 프로세서에 의해 실행됨으로써, 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신하는 단계, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하는 단계 및 상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 단계를 포함하는 전자 장치의 제어방법이 수행될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어™, 앱스토어™)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 차량 주변의 위험 요소를 감지하기 위한 전자 장치에 있어서,
    통신부;
    적어도 하나의 컴퓨터 실행 가능 명령어를 저장하는 메모리;
    상기 적어도 하나의 컴퓨터 실행 가능 명령어를 실행하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 상기 통신부를 통해 수신하고,
    상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하고,
    상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    인공지능 알고리즘에 의해 학습된 제2 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 롤각(roll angle)을 획득하고, 상기 획득한 롤각을 기초로 상기 외부 차량의 전복위험지수를 산출하는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 유형에 대한 정보를 획득하고, 상기 외부 차량의 유형에 대한 정보를 바탕으로 상기 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 상기 복수의 특성 파라미터에 기초하여 상기 외부 차량의 전복위험지수를 산출하는 전자 장치.
  8. 제7항에 있어서,
    상기 외부 차량에 대한 복수의 특성 파라미터는,
    상기 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공하는 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 상기 외부 차량으로부터 회피하도록 상기 차량을 제어하는 전자 장치.
  11. 차량 주변의 위험 요소를 감지하기 위한 전자 장치를 제어하는 방법에 있어서,
    상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신하는 단계;
    상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하는 단계; 및
    상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 단계;를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 전복위험지수를 산출하는 단계는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하는 단계; 및
    상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계;를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 식별하는 단계는,
    인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별하는, 방법.
  14. 제11항에 있어서,
    상기 전복위험지수를 산출하는 단계는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는 단계; 및
    상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계;를 포함하는 방법.
  15. 제14항에 있어서,
    상기 식별하는 단계는,
    상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는, 방법.
PCT/KR2019/095052 2018-12-28 2019-12-26 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법 WO2020139063A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19903942.1A EP3842312A4 (en) 2018-12-28 2019-12-26 ELECTRONIC DEVICE FOR DETECTING RISK FACTORS AROUND A VEHICLE AND PROCEDURE FOR ITS CONTROL
CN201980081522.XA CN113165646B (zh) 2018-12-28 2019-12-26 用于检测车辆周围的风险因素的电子设备及其控制方法
US17/283,881 US11926315B2 (en) 2018-12-28 2019-12-26 Electronic apparatus for detecting risk factors around vehicle and method for controlling same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0172440 2018-12-28
KR1020180172440A KR102553053B1 (ko) 2018-12-28 2018-12-28 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법

Publications (1)

Publication Number Publication Date
WO2020139063A1 true WO2020139063A1 (ko) 2020-07-02

Family

ID=71127386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/095052 WO2020139063A1 (ko) 2018-12-28 2019-12-26 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법

Country Status (5)

Country Link
US (1) US11926315B2 (ko)
EP (1) EP3842312A4 (ko)
KR (1) KR102553053B1 (ko)
CN (1) CN113165646B (ko)
WO (1) WO2020139063A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210096568A1 (en) * 2019-09-30 2021-04-01 Wipro Limited System and method for dynamically adjusting a trajectory of an autonomous vehicle during real-time navigation
KR102366590B1 (ko) * 2020-06-10 2022-02-24 (주)아디아랩 중장비 차량 안전 관리 시스템
KR102463138B1 (ko) * 2020-11-27 2022-11-04 주식회사 엔틱스 농기계 차량의 사고 발생 경고 시스템 및 방법
JP2022136757A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 自律走行体
KR102453688B1 (ko) * 2021-04-28 2022-10-11 아주대학교산학협력단 교통사고의 잠재적 위험도 평가 시스템 및 그 방법
JP7230113B2 (ja) * 2021-06-07 2023-02-28 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640175B1 (ko) * 2005-11-18 2006-11-01 한양대학교 산학협력단 차량의 전복방지 제어 시스템 및 그 방법
US9116784B2 (en) * 2012-09-18 2015-08-25 Automotive Research & Test Center System and method for preventing vehicle from rolling over in curved lane
KR20160140303A (ko) * 2015-05-29 2016-12-07 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR20180025587A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 방법 및 장치
KR20180112336A (ko) * 2017-04-03 2018-10-12 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2656141C (en) 1998-05-15 2012-02-07 International Road Dynamics Inc. Method for automatically controlling traffic signalling device
US7107136B2 (en) 2001-08-29 2006-09-12 Delphi Technologies, Inc. Vehicle rollover detection and mitigation using rollover index
DE10204128B4 (de) 2002-02-01 2011-06-22 Robert Bosch GmbH, 70469 Vorrichtung zur Überrollerkennung
KR20090010439A (ko) * 2007-07-23 2009-01-30 주식회사 만도 차량 자세 제어방법
US8019511B2 (en) 2008-05-22 2011-09-13 Ford Global Technologies, Llc Vehicle rollover detection
US9552726B2 (en) * 2009-08-24 2017-01-24 Here Global B.V. Providing driving condition alerts using road attribute data
DE102009055776A1 (de) 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
US8489287B2 (en) 2010-12-31 2013-07-16 Automotive Research & Test Center Vehicle roll over prevention safety driving system and method
DE102011055795A1 (de) 2011-11-29 2013-05-29 Continental Automotive Gmbh Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
KR20150062490A (ko) 2013-11-29 2015-06-08 주식회사 만도 차량의 차속 제어 장치 및 방법
US9285460B2 (en) * 2014-04-14 2016-03-15 Saab Vricon Systems Ab Method and system for estimating information related to a vehicle pitch and/or roll angle
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
KR101857035B1 (ko) 2016-04-26 2018-05-15 현대자동차주식회사 주행 정보 최적화를 통한 차량 전복 감지 시스템
CN107972672B (zh) * 2016-10-21 2021-07-20 奥迪股份公司 驾驶辅助系统和驾驶辅助方法
US10377260B2 (en) * 2017-01-13 2019-08-13 Uber Technologies, Inc. Charge control system for mobile energy storage fleet
US10430876B1 (en) * 2018-03-08 2019-10-01 Capital One Services, Llc Image analysis and identification using machine learning with output estimation
US10817732B2 (en) * 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640175B1 (ko) * 2005-11-18 2006-11-01 한양대학교 산학협력단 차량의 전복방지 제어 시스템 및 그 방법
US9116784B2 (en) * 2012-09-18 2015-08-25 Automotive Research & Test Center System and method for preventing vehicle from rolling over in curved lane
KR20160140303A (ko) * 2015-05-29 2016-12-07 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR20180025587A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 방법 및 장치
KR20180112336A (ko) * 2017-04-03 2018-10-12 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3842312A4 *

Also Published As

Publication number Publication date
EP3842312A4 (en) 2021-11-03
CN113165646B (zh) 2024-05-24
KR20200087891A (ko) 2020-07-22
KR102553053B1 (ko) 2023-07-11
US11926315B2 (en) 2024-03-12
CN113165646A (zh) 2021-07-23
EP3842312A1 (en) 2021-06-30
US20210347353A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
WO2020139063A1 (ko) 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
US20200369271A1 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
US11231717B2 (en) Auto-tuning motion planning system for autonomous vehicles
CN108860154B (zh) 驾驶员监视装置以及驾驶员监视方法
EP3304520B1 (en) Alerting predicted accidents between driverless cars
KR102573303B1 (ko) 자율 주행 방법 및 장치
EP3539113B1 (en) Electronic apparatus and method of operating the same
WO2020138908A1 (ko) 전자 장치 및 그 제어 방법
US11119492B2 (en) Automatically responding to emergency service vehicles by an autonomous vehicle
US20180253647A1 (en) Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
EP3810474A1 (en) Method of assisting autonomous vehicle, and apparatus therefor
US11017318B2 (en) Information processing system, information processing method, program, and vehicle for generating a first driver model and generating a second driver model using the first driver model
WO2020226258A1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
US11511770B2 (en) System and method for neural network-based autonomous driving
JP2020046706A (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US11769403B2 (en) Systems and methods for fiber optic based vehicle-direction detection
WO2019208965A1 (ko) 전자 장치 및 그 동작 방법
EP3815061B1 (en) Theft proof techniques for autonomous driving vehicles used for transporting goods
WO2018186625A1 (ko) 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
KR20200092462A (ko) 주행상황 정보융합 기반 주행경로 가변화 방법 및 시스템
WO2020246735A1 (ko) 차량 제어 방법, 차량 제어 장치, 이를 포함하는 차량 제어 시스템
WO2023080111A1 (en) Method and Systems for Detection Accuracy Ranking and Vehicle Instruction
US20230147357A1 (en) Vehicle control system, apparatus, and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19903942

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019903942

Country of ref document: EP

Effective date: 20210325

NENP Non-entry into the national phase

Ref country code: DE