WO2021215559A1 - 차량을 모니터링하는 방법 및 장치 - Google Patents

차량을 모니터링하는 방법 및 장치 Download PDF

Info

Publication number
WO2021215559A1
WO2021215559A1 PCT/KR2020/005348 KR2020005348W WO2021215559A1 WO 2021215559 A1 WO2021215559 A1 WO 2021215559A1 KR 2020005348 W KR2020005348 W KR 2020005348W WO 2021215559 A1 WO2021215559 A1 WO 2021215559A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
camera
control device
data
image
Prior art date
Application number
PCT/KR2020/005348
Other languages
English (en)
French (fr)
Inventor
신정은
김기현
조정희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2020/005348 priority Critical patent/WO2021215559A1/ko
Publication of WO2021215559A1 publication Critical patent/WO2021215559A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the present specification relates to a method for monitoring a vehicle and an apparatus using the same.
  • a vehicle is a device that moves a passenger from one place to another.
  • a typical example is a car.
  • V2X (vehicle-to-everything) communication technology which means vehicle-to-things communication, refers to a technology in which a vehicle communicates with other vehicles, pedestrians, road infrastructure, and servers to provide a series of services.
  • DSRC Dedicated Short Range Communications
  • LTE Long Term Evolution
  • NR New Radio
  • Surround View Monitoring System shows the driver around the vehicle in a top view to prevent contact accidents during parking.
  • Lane Departure Warning System uses a camera to warn of lane departure.
  • Korean Patent No. KR10-1724300 by the present applicant provides a stereo camera attached to a windshield of a vehicle.
  • Cameras placed on vehicles are typically used to monitor the surroundings of the vehicle to avoid collisions.
  • a technique for proactively monitoring the vehicle, such as anti-theft, is proposed.
  • the present specification provides a method for monitoring a vehicle and an apparatus using the same
  • a device for monitoring a vehicle includes a control device mounted on the vehicle, and a plurality of 3D camera devices, wherein each of the plurality of 3D camera devices includes a plurality of cameras, and controls the interior and exterior of the vehicle.
  • a monitoring camera system is included.
  • power is periodically supplied to a camera mounted in at least one 3D camera device among the plurality of 3D camera devices.
  • the powered camera captures an image and provides a wake-up signal to the control device when motion of an object is detected.
  • the control device supplies power to the camera system and instructs to capture a 3D image of the vehicle.
  • the control device notifies the user of an abnormal state based on the captured 3D image.
  • a method of monitoring a vehicle performed by a monitoring device comprising a control device and a camera system.
  • power is periodically supplied to a camera mounted in at least one 3D camera device among a plurality of 3D camera devices in the camera system, and the powered camera captures an image to provide a wake-up signal to the control device when motion of an object is detected, and the control device receiving the wake-up signal instructs the camera system to supply power to capture a 3D image of the vehicle, and notifying a user of an abnormal state based on the captured 3D image.
  • a device that monitors a vehicle can proactively alert the user to prevent vehicle theft or in-vehicle neglect.
  • FIG. 1 shows a system to which an embodiment is applied.
  • FIG. 2 is a block diagram illustrating a vehicle implementing the present embodiment.
  • FIG. 3 shows a camera system having a plurality of 3D cameras mounted inside a vehicle.
  • FIG. 5 shows another example of a camera system for capturing an image inside a vehicle.
  • FIG. 6 shows another example of a camera system for capturing an image outside the vehicle.
  • FIG. 7 is a block diagram illustrating an apparatus for monitoring a vehicle according to an embodiment of the present specification.
  • FIG. 8 is a block diagram illustrating a method for monitoring a vehicle according to an embodiment of the present specification.
  • the left side of the vehicle means the left side in the forward driving direction of the vehicle
  • the right side of the vehicle means the right side in the forward driving direction of the vehicle
  • FIG. 1 shows a system to which an embodiment is applied.
  • the system 100 includes a vehicle 200 , a base station 110 , and a server 120 .
  • the vehicle 200 may communicate with the base station 110 and/or the surrounding vehicle 130 using a wireless communication protocol.
  • wireless communication protocols for example, Dedicated Short Range Communications (DSRC) based on IEEE (Institute of Electrical and Electronics Engineers) 802.11, WiFi, C-V2X and/or 3rd Generation Partnership Project (3GPP) based of a cellular communication protocol (eg, Wideband Code Division Multiple Access (WCDMA), Long Term Evolution (LTE), New Radio (NR), etc.).
  • DSRC Dedicated Short Range Communications
  • IEEE Institute of Electrical and Electronics Engineers
  • WiFi Wireless Fidelity
  • C-V2X Third Generation Partnership Project
  • 3GPP 3rd Generation Partnership Project
  • WCDMA Wideband Code Division Multiple Access
  • LTE Long Term Evolution
  • NR New Radio
  • the base station 110 may communicate with the vehicle 200 or other base stations using various wireless communication protocols such as DSRC, C-V2X, and cellular communication protocols.
  • various wireless communication protocols such as DSRC, C-V2X, and cellular communication protocols.
  • the server 120 is connected to one or more base stations 110 and includes computing hardware that provides a driving data service to the vehicle 200 .
  • the computing hardware may include a processor and memory.
  • the memory stores map data and driving environment information described in the following embodiments, and the processor may provide the data to the vehicle 200 .
  • the processor may update the map data based on data received from one or more vehicles 200 .
  • the server may be a Mobile/Mutli-access Edge Computing (MEC) based server or a centralized based server.
  • MEC Mobile/Mutli-access Edge Computing
  • the vehicle 200 is defined as a transportation means traveling on a road or track.
  • the vehicle 200 is a concept including a car, a train, and a motorcycle.
  • the vehicle 200 may be a concept including an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the vehicle 200 may be a vehicle owned by an individual.
  • the vehicle 200 may be a shared vehicle.
  • the vehicle 200 may be an autonomous driving vehicle.
  • the vehicle 200 may be set to operate autonomously.
  • Autonomous driving refers to driving without the assistance of a human driver, for example.
  • the vehicle 200 may be set to detect the surrounding vehicle 130 and determine the path of the detected vehicle.
  • the vehicle 200 may communicate with the surrounding vehicle 130 to exchange information.
  • the vehicle 200 may perform a switching operation from the autonomous driving mode to the manual driving mode or a switching operation from the manual driving mode to the autonomous driving mode. For example, the vehicle 200 may change the mode of the vehicle 10 from the autonomous driving mode to the manual driving mode or from the manual driving mode to the autonomous driving mode based on a signal received from the user interface device.
  • ADAS Advanced Driver Assistance System
  • ADAS includes Adaptive Cruise Control (ACC), Autonomous Emergency Braking (AEB), Forward Collision Warning (FCW), Lane Keeping Assist (LKA), ), Lane Change Assist (LCA), Target Following Assist (TFA), Blind Spot Detection (BSD), Adaptive High Beam Control (HBA) , Auto Parking System (APS), Pedestrian Collision Warning System (PD Collision Warning System), Traffic Sign Recognition (TSR), Trafffic Sign Assist (TSA), Night Vision System At least one of a Night Vision (NV), a Driver Status Monitoring (DSM), and a Traffic Jam Assist (TJA) may be implemented.
  • ACC Adaptive Cruise Control
  • AEB Autonomous Emergency Braking
  • FCW Forward Collision Warning
  • LKA Lane Keeping Assist
  • LKA Lane Change Assist
  • LKA Lane Change Assist
  • TSA Blind Spot Detection
  • HBA Adaptive High Beam Control
  • FIG. 2 is a block diagram illustrating a vehicle implementing the present embodiment.
  • the vehicle 200 includes a control device 210 , a user interface device 220 , an acceleration device 230 , a braking device 240 , a steering device 250 , and a sensing device. (sensing device, 260) and may include an engine (engine, 270).
  • the devices presented are merely examples, and not all devices are essential.
  • the vehicle 200 may further include additional devices, or specific devices may be omitted. Some of the devices have their own processors and can perform processing related to specific functions of the device.
  • the user interface device 220 is a device for communicating between the vehicle 200 and a user.
  • the user interface device 220 may receive a user input and provide information generated in the vehicle 200 to the user.
  • the vehicle 200 may implement a user interface (UI) or a user experience (UX) through the user interface device 220 .
  • the user interface device 220 may include an input device, an output device, and a user monitoring device.
  • the acceleration device 230 may be a mechanism configured to accelerate the vehicle 200 .
  • the brake device 240 may be a mechanism set to decelerate the vehicle 200 .
  • the steering device 250 may be a mechanism set to control the direction of the vehicle 200 .
  • the vehicle 200 may accelerate through the acceleration device 230 , decelerate through the brake device 240 , and change a driving direction through the steering device 250 .
  • At least one of the acceleration device 230 , the brake device 240 , and the steering device 250 may be controlled by the control device 210 and/or an additional controller to control the speed and direction of the vehicle 200 . .
  • the sensing device 260 may include one or more sensors configured to sense information about the location/speed of the vehicle 200 and/or the environment of the vehicle 200 .
  • the sensing device 260 may include a location data generating device for measuring a geographic location of the vehicle 200 and/or an object detecting device for recognizing an object around the vehicle 200 .
  • the object detecting apparatus may generate information about an object outside the vehicle 200 .
  • the information about the object may include at least one of information on the existence of the object, location information of the object, distance information between the vehicle 200 and the object, and relative speed information between the vehicle 200 and the object. .
  • the object detecting apparatus may detect an object outside the vehicle 200 .
  • the object detecting apparatus may include at least one sensor capable of detecting an object outside the vehicle 200 .
  • the object detecting apparatus may include at least one of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the object detection apparatus may provide data on an object generated based on a sensing signal generated by the sensor to at least one control device included in the vehicle 200 .
  • the camera may generate information about an object outside the vehicle 200 by using the image.
  • the camera may include at least one lens, at least one image sensor, and at least one processor that is electrically connected to the image sensor to process a received signal, and generate data about the object based on the processed signal.
  • the camera may be at least one of a mono camera, a stereo camera, and an AVM (Around View Monitoring) camera.
  • the camera may obtain position information of the object, distance information from the object, or relative speed information with the object by using various image processing algorithms.
  • the camera may acquire distance information and relative velocity information from an object based on a change in the size of the object over time from the acquired image.
  • the camera may acquire distance information and relative speed information with respect to an object through a pinhole model, road surface profiling, or the like.
  • the camera may acquire distance information and relative velocity information from an object based on disparity information in a stereo image obtained from the stereo camera.
  • the camera may be mounted at a position where a field of view (FOV) can be secured in the vehicle in order to photograph the outside of the vehicle.
  • the camera may be disposed adjacent to the front windshield in the interior of the vehicle to acquire an image of the front of the vehicle.
  • the camera may be placed around the front bumper or radiator grill.
  • the camera may be disposed adjacent to the rear glass in the interior of the vehicle to acquire an image of the rear of the vehicle.
  • the camera may be placed around the rear bumper, trunk or tailgate.
  • the camera may be disposed adjacent to at least one of the side windows in the interior of the vehicle in order to acquire an image of the side of the vehicle.
  • the camera may be disposed around a side mirror, a fender or a door.
  • the radar may generate information about an object outside the vehicle 200 using radio waves.
  • the radar may include an electromagnetic wave transmitter, an electromagnetic wave receiver, and at least one processor that is electrically connected to the electromagnetic wave transmitter and the electromagnetic wave receiver, processes a received signal, and generates data for an object based on the processed signal.
  • the radar may be implemented in a pulse radar method or a continuous wave radar method in terms of a radio wave emission principle.
  • the radar may be implemented as a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar detects an object based on an electromagnetic wave, a time of flight (TOF) method or a phase-shift method, and detects the position of the detected object, the distance to the detected object, and the relative speed.
  • the radar may be placed at a suitable location outside of the vehicle to detect objects located in front, rear or side of the vehicle.
  • the lidar may generate information about an object outside the vehicle 200 using laser light.
  • the lidar may include at least one processor that is electrically connected to the light transmitter, the light receiver, and the light transmitter and the light receiver, processes the received signal, and generates data about the object based on the processed signal. .
  • the lidar may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • Lidar can be implemented as driven or non-driven. When implemented as a driving type, the lidar is rotated by a motor and may detect an object around the vehicle 200 . When implemented as a non-driven type, the lidar may detect an object located within a predetermined range with respect to the vehicle by light steering.
  • Vehicle 200 may include a plurality of non-driven lidar.
  • LiDAR detects an object based on a time of flight (TOF) method or a phase-shift method with a laser light medium, and calculates the position of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • the lidar may be placed at a suitable location outside of the vehicle to detect an object located in front, rear or side of the vehicle.
  • the location data generating apparatus may generate location data of the vehicle 200 .
  • the apparatus for generating location data may include at least one of a Global Positioning System (GPS) and a Differential Global Positioning System (DGPS).
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the location data generating apparatus may generate location data of the vehicle 200 based on a signal generated by at least one of GPS and DGPS.
  • the apparatus for generating location data may correct location data based on at least one of an Inertial Measurement Unit (IMU) of the sensing device 260 and a camera of the object detecting apparatus.
  • IMU Inertial Measurement Unit
  • the location data generating device may be referred to as a Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the sensing device 260 may include a state sensor configured to sense the state of the vehicle 200 .
  • the status sensor includes an inertial measurement unit (IMU) sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a position module, and a vehicle forward/reverse sensor.
  • IMU inertial measurement unit
  • a battery sensor a fuel sensor, a tire sensor, a steering sensor, a temperature sensor, a humidity sensor, an ultrasonic sensor, an illuminance sensor
  • an inertial measurement unit (IMU) sensor may include at least one of an acceleration sensor, a gyro sensor, and a magnetic sensor.
  • the sensing device 260 may generate state data of the vehicle based on a signal generated by at least one sensor.
  • the vehicle state data may be information generated based on data sensed by various sensors provided inside the vehicle.
  • the sensing device 260 may include vehicle attitude data, vehicle motion data, vehicle yaw data, vehicle roll data, vehicle pitch data, vehicle collision data, vehicle direction data, vehicle angle data, and vehicle speed. data, vehicle acceleration data, vehicle inclination data, vehicle forward/reverse data, vehicle weight data, battery data, fuel data, tire pressure data, vehicle interior temperature data, vehicle interior humidity data, steering wheel rotation angle data, vehicle exterior illumination Data, pressure data applied to the accelerator pedal, pressure data applied to the brake pedal, and the like may be generated.
  • the engine 270 provides propulsion to the vehicle 200 .
  • the engine 270 may include an internal combustion engine, an electric motor, or a combination thereof.
  • the control device 210 communicates with the user interface device 220 , the acceleration device 230 , the brake device 240 , the steering device 250 , and the sensing device 260 to exchange various information or to control these devices.
  • the control device 210 may include a processor 211 and a memory 212 .
  • the control device 210 may include one or more sub-devices according to functions, and each sub-device includes at least one of a processor and a memory, and is configured to perform processing related to the function of the corresponding sub-device.
  • the control device 210 may include a telematics control unit (TCU) responsible for communication inside and outside the vehicle 200 .
  • TCU telematics control unit
  • the control device 210 may include an autonomous driving device in charge of autonomous driving.
  • the control device 210 may include an infotainment system or AVN (Audio Video Navigation) system that displays driving information to passengers or provides various entertainment.
  • the control device 210 may include a TCU or an infotainment system.
  • the control device 210 may include a combination of a TCU and an infotainment system or a combination of other functions.
  • the control device 210 for autonomous driving may generate a path for autonomous driving based on the obtained data.
  • the control device 210 may generate a driving plan for driving along the generated path.
  • the control device 210 may generate a signal for controlling the movement of the vehicle according to the driving plan.
  • the autonomous driving device 210 may provide the generated signal to the accelerator 230 , the brake device 240 , the steering device 250 , and the engine 270 .
  • the processor 211 is an ASIC (application-specific integrated circuit), CPU (central processing unit), AP (application processor), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), microcontrollers, chipsets, logic circuits, data processing devices, and/or combinations thereof.
  • ASIC application-specific integrated circuit
  • CPU central processing unit
  • AP application processor
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • microcontrollers chipsets, logic circuits, data processing devices, and/or combinations thereof.
  • Memory 212 may store information accessible by processor 211 .
  • the information may include instructions executable by the processor 211 and/or data processed by the processor.
  • Memory 212 may include any form of computer-readable medium operative to store information.
  • the memory 212 may include a read only memory (ROM), a random access memory (RAM), a digital video disc (DVD), an optical disc, a flash memory, a solid state drive (SSD), a hard drive ( hard drive) and combinations thereof.
  • control device 210 is shown to include a processor and a memory as one physical block, the control device 210 may include a plurality of processors and a plurality of memories, and may be physically or logically operably connected.
  • the control device 210 may be connected to the display device 280 for displaying information.
  • the display device 280 includes a liquid crystal display (LCD) touch screen or an organic light emitting diode (OLED) touch screen, and includes various sensors (video camera, microphone, etc.) for detecting the state or gesture of the passenger. may include
  • the control device 210 may be connected to a wireless modem 290 configured to communicate with other devices through a wireless medium.
  • the control device 210 may exchange a wireless signal with a mobile device or server ( 120 in FIG. 1 ) or a surrounding vehicle inside/outside the vehicle 200 through the wireless modem 290 .
  • a wireless communication protocol supported by the wireless modem 290 and the wireless modem 290 may support various wireless communication protocols such as cellular communication, WiFi, Bluetooth, Zigbee, and an infrared link.
  • the memory 212 of the control device 210 may have map information and/or driving plan data.
  • the driving plan data may include information about a vehicle trajectory for the vehicle 200 to track the location of the vehicle from the current location to the destination.
  • the driving plan data may be used to guide the driver on a route or for autonomous driving.
  • the map information may include various maps for defining the driving environment. Map information includes the shape and elevation of a roadway, lane lines, intersections, crosswalks, speed limits, traffic signals, buildings or other objects. I may include information.
  • the map information may further include real-time traffic information, obstacles on the road, road condition information, and the like.
  • the map information and the driving plan data may be updated based on information given by the server 120 or may be updated based on information detected by the sensing device 260 of the vehicle 200 .
  • the control device 210 may generate Electronic Horizon Data.
  • the electronic horizon data may be understood as driving plan data within a range from a point where the vehicle 200 is located to a horizon.
  • the horizon may be understood as a point in front of a preset distance from a point where the vehicle 200 is located based on a preset driving route.
  • the horizon may mean a point to which the vehicle 200 can reach after a predetermined time from a point where the vehicle 200 is located along a preset driving route.
  • the electronic horizon data may include horizon map data and horizon pass data.
  • the horizon map data may include at least one of topology data, road data, HD map data, and dynamic data.
  • the horizon map data may include a plurality of layers.
  • the horizon map data may include a first layer matching topology data, a second layer matching road data, a third layer matching HD map data, and a fourth layer matching dynamic data.
  • the horizon map data may further include static object data.
  • Topology data can be described as a map created by connecting road centers.
  • the topology data is suitable for roughly indicating the location of the vehicle, and may be in the form of data mainly used in navigation for drivers.
  • the topology data may be understood as data on road information excluding information on lanes.
  • the topology data may be generated based on data received from an external server.
  • the topology data may be based on data stored in at least one memory provided in the vehicle 200 .
  • the road data may include at least one of slope data of the road, curvature data of the road, and speed limit data of the road.
  • the road data may further include data on an overtaking prohibited section.
  • the road data may be based on data received from an external server.
  • the road data may be based on data generated by the object detecting apparatus.
  • the HD map data includes detailed lane-by-lane topology information of the road, connection information of each lane, and characteristic information for vehicle localization (eg, traffic signs, Lane Marking/attributes, Road furniture, etc.).
  • vehicle localization eg, traffic signs, Lane Marking/attributes, Road furniture, etc.
  • the HD map data may be based on data received from an external server through the communication device 220 .
  • the dynamic data may include various dynamic information that may be generated on the road.
  • the dynamic data may include construction information, variable speed lane information, road surface condition information, traffic information, moving object information, and the like.
  • the dynamic data may be based on data received from an external server.
  • the dynamic data may be based on data generated by the object detecting apparatus.
  • the horizon pass data may be described as a trajectory that the vehicle 200 can take within a range from a point where the vehicle 200 is located to the horizon.
  • the horizon pass data may include data representing a relative probability of selecting any one road at a decision point (eg, a fork, a junction, an intersection, etc.).
  • the relative probability may be calculated based on the time it takes to arrive at the final destination. For example, at the decision point, if the time taken to arrive at the final destination is shorter when selecting the first road than when selecting the second road, the probability of selecting the first road is higher than the probability of selecting the second road. can be calculated higher.
  • the horizon pass data may include a main path and a sub path.
  • the main path may be understood as a track connecting roads with a high relative probability of being selected.
  • the sub-path may diverge at at least one decision point on the main path.
  • the sub-path may be understood as a trajectory connecting at least one road having a low relative probability of being selected from at least one decision point on the main path.
  • FIG. 3 shows a camera system having a plurality of 3D cameras mounted inside a vehicle.
  • the camera system 300 includes a front 3D camera device 310 disposed in front of the vehicle, an intermediate 3D camera device 320 disposed in the middle of the vehicle, and a rear 3D camera device 330 disposed at the rear of the vehicle. .
  • the camera system 300 is for capturing an image of the inside of the vehicle, and the front 3D camera device 310 , the middle 3D camera device 320 and the rear 3D camera device 330 are all directed to have a view about the inside of the vehicle. become (orient).
  • Each 3D camera device includes a housing and a plurality of cameras mounted to the housing.
  • a camera may include one or more lenses and an image sensor.
  • Each 3D camera device is shown to have a spherical housing, but this is only an example.
  • Each camera in the 3D camera device is in a fixed position.
  • each camera in the 3D camera device has a FOV that overlaps the FOV of at least one surrounding camera.
  • the first camera 331 of the rear 3D camera device 330 has an overlapping FOV with the second camera 332 .
  • Cameras of different 3D camera devices may also have overlapping FOVs.
  • the first camera of the front 3D camera device 310 and the second camera of the intermediate 3D camera device 320 may have an overlapping FOV.
  • the first camera 311 belongs to the front 3D camera device 310
  • the second camera 321 belongs to the middle 3D camera device 310 . It is assumed that the first camera 311 and the second camera 321 have overlapping FOVs and capture an object (eg, a driver).
  • T be a vector representing the driver's head at the reference point r, based on the reference XYZ coordinate system.
  • 3D modeling is to find a vector T based on the camera's image.
  • the position of the first camera 311 is denoted by a vector R1
  • the position of the second camera 321 is denoted by a vector R2 .
  • Vectors R1 and R2 are values known in advance through calibration.
  • a vector a P1 indicates that the first camera 311 captures the target (ie, the driver's head), and a vector b P2 indicates that the second camera 321 captures the target.
  • P1 and P2 can be found based on the 2D pixel data of each camera.
  • 'a' and 'b' are scalar values representing the distance from each camera to the target.
  • T R1 +(( R3 ⁇ P2 )/( P1 ⁇ P2 )) P1 .
  • the vector T determines the exact position of the target with respect to the reference coordinate system. In this way, the camera system 300 can accurately represent the 3D coordinate system in the image.
  • the camera system 300 includes one 3D camera device in the front, middle, and rear of the vehicle, but this is only an example.
  • 3D camera devices can be deployed in a variety of ways to capture one or more 3D images of passengers, objects, or interior conditions in a vehicle.
  • the camera system 500 includes four 3D camera devices 510 , 520 , 530 , and 540 that are respectively disposed on the upper corners of the vehicle to generate 3D images of the interior of the vehicle.
  • the number or position of 3D camera devices in the camera system may be variously modified to generate 3D images of the interior and/or exterior of the vehicle.
  • FIG. 6 shows another example of a camera system for capturing an image outside the vehicle.
  • the camera system 600 may capture a 3D image of the interior of the vehicle as well as a 3D image of the exterior of the vehicle.
  • the camera system 600 may include two 3D camera devices 610 and 620 on the left and right of the front of the vehicle and two 3D cameras 630 and 640 on the left of the rear of the vehicle.
  • An example of the 3D camera devices 610 and 620 disposed in front of the vehicle being mounted on the side mirror is shown, but this is only an example.
  • Surround view monitoring systems which are often used to assist in parking a vehicle, are generally directed outward of the vehicle and use a wide-angle camera to recognize objects adjacent to the vehicle.
  • the 3D camera devices 610 , 620 , 630 , and 630 are for monitoring the state of the outside of the vehicle instead of detecting the collision, and are more specifically arranged to provide a view on the outer surface of the vehicle door. Accordingly, the camera system 600 may provide a 3D image of a scratch or damage to the outer surface of the vehicle.
  • FIG. 7 is a block diagram illustrating an apparatus for monitoring a vehicle according to an embodiment of the present specification.
  • the monitoring device includes a camera system 710 and a control device 750 .
  • the camera system 710 includes a plurality of 3D camera devices for capturing 3D images outside and inside the vehicle.
  • the camera system 710 may provide the captured 3D image or 3D video to the controller 750 autonomously or according to an instruction of the controller 750 .
  • the control device 750 includes a processor 751 and a memory 752 .
  • the processor 751 implements the operation of the control device 750 .
  • the memory 752 stores instructions and various information for operation.
  • the control device 750 may receive a 3D image from the camera system 710 and cause the vehicle to perform various operations.
  • the controller 750 may control the camera system 710 .
  • the control device 750 may communicate with a server and/or a user using a wireless communication network.
  • the controller 750 may instruct the camera system 710 to capture the 3D image.
  • the controller 750 may control the power of the camera system 700 .
  • the control device 750 may turn on or off the power of the 3D camera device in the camera system 710 .
  • the control device 750 may turn on or off the power of each camera in the 3D camera device.
  • FIG. 8 is a block diagram illustrating a method for monitoring a vehicle according to an embodiment of the present specification. This method may be performed by a monitoring device of the vehicle.
  • step S810 when the engine is turned off, the control device and the camera system operate in the low power mode. In the low-power mode, the control unit and camera system perform minimal operations to reduce the vehicle's battery consumption.
  • step S820 the vehicle is periodically monitored.
  • power may be periodically supplied to a camera mounted on at least one 3D camera among a plurality of 3D camera devices in the camera system.
  • power may be periodically supplied to the first camera in the front 3D camera device and the second camera in the middle 3D camera device.
  • the cycle may be several minutes or ten minutes, but is not limited thereto.
  • a powered camera captures an image of the interior and/or exterior of the vehicle to monitor whether there is any movement of the object.
  • a wakeup signal is provided to the control device.
  • the camera compares the image captured in the previous period with the image captured in the current period, and if the disparity between the two images is greater than a predefined criterion, it can be determined that there is a movement of the object. . For example, if there is a child in the vehicle who is crazy and fails to get off the vehicle, it may be determined that there is a movement of the object. When an unauthorized person is recognized outside the vehicle, it may be determined that there is a movement of the object.
  • step S830 the control device instructs the camera system to capture a 3D image of the vehicle.
  • the control device Upon receiving the wake-up signal, the control device switches from a low power mode to an active mode, and supplies power to the camera system. Then, the control device instructs the camera system to capture a 3D image of the vehicle.
  • the camera system captures a plurality of 3D images at different times during the capture period.
  • the capture period may be several tens of seconds or several minutes, but is not limited thereto.
  • the number of 3D images to be captured is at least two, and the number is not limited.
  • the control device may notify the user of an abnormal state based on the plurality of captured 3D images.
  • the control device may compare the plurality of 3D images, and if the difference with respect to the plurality of 3D images is greater than a predetermined criterion, the controller may notify the user of the abnormal state.
  • the user may be a registered user and/or the owner of the vehicle.
  • the control device may notify the abnormal state when the difference regarding the plurality of 3D images is greater than a predetermined criterion in a state in which the engine of the vehicle is turned off, and the smart key of the vehicle is not recognized within a predetermined distance of the vehicle.
  • the control device may more accurately determine what kind of object it is or the degree of movement of the object through the 3D image. If it is determined that the abnormal state is notified to the user, the control device transmits the abnormal state to the user.
  • the abnormal state may include information on at least one of whether a motion is detected, a type of an object, and/or a plurality of captured 3D images.
  • the notification of the abnormal state may be performed through a wireless communication network.
  • the control device may send an abnormal state to the server, and the server may transmit the abnormal state to the user.
  • the monitoring device periodically monitors the interior and exterior of the vehicle with the engine turned off.
  • the monitoring device sends a current image and an abnormal state to the user's mobile device when an unauthorized person's movement is detected outside the vehicle.
  • the monitoring device may directly contact the police station or warn an unauthorized person through an alarm or the like.
  • the monitoring device may send a current image and an abnormal state to the user's mobile device when a child left in a vehicle with the engine turned off is detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량을 모니터링하는 장치는 상기 차량에 장착되는 제어 장치 및 상기 차량의 내부 및 외부를 모니터링하는 카메라 시스템을 포함한다. 상기 카메라 시스템은 복수의 3D 카메라 장치를 포함하고, 상기 복수의 3D 카메라 장치 각각은 복수의 카메라를 포함한다.

Description

차량을 모니터링하는 방법 및 장치
본 명세서는 차량을 모니터링하는 방법 및 이를 이용한 장치에 관한 것이다.
차량(vehicle)은 탑승자(passenger)를 한 장소에서 다른 장소로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 차량-사물 통신을 의미하는 V2X(vehicle-to-everything) 통신 기술은 차량이 다른 차량, 보행자, 도로 인프라, 서버 등과 통신하여 일련의 서비스를 제공하는 기술을 말한다.
V2X를 위해 IEEE(Institute of Electrical and Electronics Engineers), 3GPP(3rd Generation Partnership Project) 등과 같은 표준화 기구에서 다양한 통신 규격을 제공하고 있다. DSRC(Dedicated Short Range Communications)는 IEEE 802.11를 기반으로 한 통신 표준 프로토콜이다. 3GPP의 LTE(Long Term Evolution) 및 NR(New Radio)도 V2X를 위한 통신 프로토콜을 제공하고 있다.
V2X와 더불어 부분적으로 또는 완전히(fully) 자율적인(autonomous) 차량이 등장하고 있다. 이 자율주행차량(Autonomous Vehicle)은 주변 차량, 보행자, 서버 등과 보다 많은 데이터를 저지연(low latency)와 높은 신뢰성을 가지고 교환할 필요가 있다.
운전자에게 차량의 주변 상황을 좀더 완전하게 인식하도록 하기 위해 카메라가 많이 활용되고 있다. 서라운드 뷰 모니터링 시스템(Surround View Monitoring System)은 주차 도중 접촉 사고를 방지 위해 운전자에게 차량 주변을 탑뷰(topview)로 보여준다. 차선 이탈 경고 시스템(Lane Departure Warning System)은 카메라를 활용하여 차선 이탈을 경고한다. 본 출원인에 의한 한국특허번호 KR10-1724300는 차량의 윈드 쉴드에 부착되는 스테레오 카메라를 제공한다.
차량에 배치되는 카메라는 일반적으로 충돌 방지를 위해 차량 주변을 모니터링하는데 사용된다. 도난 방지(anti-theft)와 같이 차량을 선제적으로(proactively) 모니터링하는 기법이 제안된다.
본 명세서는 차량을 모니터링하는 방법 및 이를 이용한 장치를 제공한다
일 양태에서, 차량을 모니터링하는 장치는 상기 차량에 장착되는 제어 장치, 및 복수의 3D 카메라 장치를 포함하고, 상기 복수의 3D 카메라 장치 각각은 복수의 카메라를 포함하며, 상기 차량의 내부 및 외부를 모니터링하는 카메라 시스템을 포함한다. 상기 차량의 엔진이 커진 상태에서, 상기 복수의 3D 카메라 장치 중 적어도 하나의 3D 카메라 장치에 장착된 카메라에 주기적으로 파워가 공급된다. 상기 파워가 공급된 카메라는 이미지를 캡쳐하여 물체의 움직임이 검출되면, 상기 제어 장치로 웨이크 업 신호를 제공한다. 상기 웨이크 업 신호를 수신한 상기 제어 장치는 상기 카메라 시스템에 파워를 공급하고 상기 차량에 관한 3D 이미지를 캡쳐하도록 지시한다. 상기 제어장치는 상기 캡쳐된 3D 이미지를 기반으로 사용자에게 이상(abnormal) 상태를 통지한다.
다른 양태에서, 제어장치 및 카메라 시스템을 포함하는 모니터링 장치에 의해 수행되는 차량을 모니터링하는 방법이 제공된다. 상기 방법은 상기 차량의 엔진이 커진 상태에서, 상기 카메라 시스템 내 복수의 3D 카메라 장치 중 적어도 하나의 3D 카메라 장치에 장착된 카메라에 주기적으로 파워를 공급하고, 상기 파워가 공급된 카메라가 이미지를 캡쳐하여 물체의 움직임이 검출되면, 상기 제어 장치로 웨이크 업 신호를 제공하고, 상기 웨이크 업 신호를 수신한 상기 제어 장치가 상기 카메라 시스템에 파워를 공급하여 상기 차량에 관한 3D 이미지를 캡쳐하도록 지시하고, 및 상기 캡쳐된 3D 이미지를 기반으로 사용자에게 이상(abnormal) 상태를 통지하는 것을 포함한다.
차량을 모니터링하는 장치는 사용자에게 선제적으로 경고하여(alert), 차량 절도(vehicle theft) 나 차량내 방치(in-vehicle neglect)를 방지할 수 있다.
도 1은 실시예가 적용되는 시스템을 나타낸다.
도 2는 본 실시예를 구현하는 차량을 나타낸 블록도이다.
도 3은 차량의 내부에 장착되는 복수의 3D 카메라를 갖는 카메라 시스템을 나타낸다.
도 4는 중복되는 FOV를 이용하여 3D 모델링을 수행하는 일 예를 보여준다.
도 5는 차량 내부의 이미지를 캡쳐하기 위한 카메라 시스템의 다른 예를 보여준다.
도 6은 차량 외부의 이미지를 캡쳐하기 위한 카메라 시스템의 다른 예를 보여준다.
도 7은 본 명세서의 일 실시예에 따른 차량을 모니터링하는 장치를 나타낸 블록도이다.
도 8은 본 명세서의 일 실시예에 따른 차량을 모니터링하는 방법를 나타낸 블록도이다.
도 9는 차량의 이상 상태가 검출되는 예를 보여준다.
이하, 첨부된 도면을 참조하여 본 명세서(disclosure)에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 설명에서 차량의 좌측은 차량의 전진 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 전진 주행 방향의 우측을 의미한다.
도 1은 실시예가 적용되는 시스템을 나타낸다.
시스템(100)은 차량(200), 기지국(110) 및 서버(120)를 포함한다. 차량(200)은 무선 통신 프로토콜을 사용하여 기지국(110) 및/또는 주변 차량(130)과 통신할 수 있다. 무선 통신 프로토콜에는 제한이 없으며, 예를 들어, IEEE(Institute of Electrical and Electronics Engineers) 802.11를 기반으로 한 DSRC(Dedicated Short Range Communications), WiFi, C-V2X 및/또는 3GPP(3rd Generation Partnership Project) 기반의 셀룰라 통신 프로토콜(예, WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), NR(New Radio) 등)를 포함할 수 있다.
기지국(110)은 DSRC, C-V2X, 셀룰라 통신 프로토콜 등 다양한 무선 통신 프로토콜을 사용하여 차량(200) 또는 다른 기지국과 통신할 수 있다.
서버(120)는 하나 또는 그 이상의 기지국(110)과 연결되어, 차량(200)에게 주행 데이터 서비스를 제공하는 컴퓨팅 하드웨어를 포함한다. 예를 들어, 상기 컴퓨팅 하드웨어는 프로세서와 메모리를 포함할 수 있다. 메모리는 이하의 실시예에서 기술되는 맵 데이터와 주행 환경 정보를 저장하고, 프로세서는 이 데이터를 차량(200)에게 제공할 수 있다. 프로세서는 하나 또는 그 이상의 차량(200)으로부터 수신된 데이터에 기초하여 맵 데이터를 업데이트할 수 있다. 서버는 MEC(Mobile/Mutli-access Edge Computing) 기반의 서버이거나 중앙 집중 기반의 서버일 수 있다.
본 명세서의 실시예에 따른 차량(200)은, 도로나 선로 위를 주행하는 수송 수단으로 정의된다. 차량(200)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(200)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(200)은 개인이 소유한 차량일 수 있다. 차량(200)은, 공유형 차량일 수 있다. 차량(200)은 자율 주행 차량일 수 있다.
차량(200)은 자율적으로 동작할 수 있도록 설정될 수 있다. 자율 주행은 예를 들어, 휴먼 운전자의 도움없이 주행하는 것을 말한다. 자율 주행 모드에서 차량(200)은 주변 차량(130)을 검출하고 검출된 차량의 경로를 판단하도록 설정될 수 있다. 차량(200)은 주변 차량(130)과 통신하여 정보를 교환할 수 있다.
차량(200)는, 자율 주행 모드에서 수동 주행 모드로의 전환 동작 또는 수동 주행 모드에서 자율 주행 모드로의 전환 동작을 수행할 수 있다. 예를 들면, 차량(200)은 사용자 인터페이스 장치로부터 수신되는 신호에 기초하여, 차량(10)의 모드를 자율 주행 모드에서 수동 주행 모드로 전환하거나 수동 주행 모드에서 자율 주행 모드로 전환할 수 있다.
수동 운행 또는 자율 주행에 있어서 적어도 하나의 ADAS(Advanced Driver Assistance System) 기능이 지원될 수 있다. ADAS는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
도 2는 본 실시예를 구현하는 차량을 나타낸 블록도이다.
차량(200)은 제어 장치(control device, 210), 사용자 인터페이스 장치(220), 가속 장치(acceleration device, 230), 브레이크 장치(braking device, 240), 조향 장치(steering device, 250), 센싱 장치(sensing device, 260), 엔진(engine, 270)을 포함할 수 있다. 제시된 장치는 예시에 불과하며, 모든 장치가 필수적인 것은 아니다. 차량(200)은 추가적인 장치를 더 포함하거나, 특정 장치는 생략될 수 있다. 장치들 중 어떤 것은 자신의 프로세서를 가지고, 그 장치의 특정 기능에 관련된 처리를 수행할 수 있다.
사용자 인터페이스 장치(220)는, 차량(200)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(220)는, 사용자 입력을 수신하고, 사용자에게 차량(200)에서 생성된 정보를 제공할 수 있다. 차량(200)은, 사용자 인터페이스 장치(220)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다. 사용자 인터페이스 장치(220)는 입력 장치, 출력 장치 및 사용자 모니터링 장치를 포함할 수 있다.
가속 장치(230)는 차량(200)을 가속하도록 설정되는 메카니즘일 수 있다. 브레이크 장치(240)는 차량(200)을 감속하도록 설정되는 메카니즘일 수 있다. 조향 장치(250)는 차량(200)의 방향을 조정하도록 설정되는 메카니즘일 수 있다. 차량(200)은 가속 장치(230)를 통해 가속하고, 브레이크 장치(240)를 통해 감속하고, 조향 장치(250)를 통해 주행 방향을 변경할 수 있다. 차량(200)의 속도와 방향을 제어하기 위해 가속 장치(230), 브레이크 장치(240) 및 조향 장치(250) 중 적어도 어느 하나는 제어 장치(210) 및/또는 추가적인 제어기에 의해 제어될 수 있다.
센싱 장치(260)는 차량(200)의 위치/속도 및/또는 차량(200)의 환경에 관한 정보를 센스하도록 설정된 하나 또는 그 이상의 센서를 포함할 수 있다. 센싱 장치(260)는 차량(200)의 지리적 위치를 측정하는 위치 데이터 생성 장치 및/또는 차량(200) 주변의 오브젝트(object)를 인식하는 오브젝트 검출 장치를 포함할 수 있다.
오브젝트 검출 장치는, 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 오브젝트에 대한 정보는, 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량(200)과 오브젝트와의 거리 정보 및 차량(200)과 오브젝트와의 상대 속도 정보 중 적어도 어느 하나를 포함할 수 있다. 오브젝트 검출 장치는, 차량(200) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치는, 차량(200) 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치는 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량(200)에 포함된 적어도 하나의 제어 장치에 제공할 수 있다.
카메라는 영상을 이용하여 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 카메라는 적어도 하나의 렌즈, 적어도 하나의 이미지 센서 및 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.
카메라는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라는, 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있다. 카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
레이다는 전파를 이용하여 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 레이다는, 전자파 송신부, 전자파 수신부 및 전자파 송신부 및 전자파 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다. 레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는, 레이저 광을 이용하여, 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는, 광 송신부, 광 수신부 및 광 송신부 및 광 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다. 라이다는, 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(200) 주변의 오브젝트를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(200)은 복수의 비구동식 라이다를 포함할 수 있다. 라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
위치 데이터 생성 장치는, 차량(200)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치는 GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(200)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치는, 센싱 장치(260)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다. 위치 데이터 생성 장치는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.
센싱 장치(260)는 차량(200)의 상태를 센스하도록 설정된 상태 센서를 포함할 수 있다. 상태 센서는 IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial measurement unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱 장치(260)는 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 차량 상태 데이터는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다. 센싱 장치(260)는, 차량 자세 데이터, 차량 모션 데이터, 차량 요(yaw) 데이터, 차량 롤(roll) 데이터, 차량 피치(pitch) 데이터, 차량 충돌 데이터, 차량 방향 데이터, 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 차량의 중량 데이터, 배터리 데이터, 연료 데이터, 타이어 공기압 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터, 스티어링 휠 회전 각도 데이터, 차량 외부 조도 데이터, 가속 페달에 가해지는 압력 데이터, 브레이크 페달에 가해지는 압력 데이터 등을 생성할 수 있다.
엔진(270)은 차량(200)에게 추진력(propulsion)을 제공한다. 엔진(270)은 내연기관(internal combustion engine), 전기 모터 또는 이들의 조합을 포함할 수 있다.
제어 장치(210)는 사용자 인터페이스 장치(220), 가속 장치(230), 브레이크 장치(240), 조향 장치(250) 및 센싱 장치(260)과 통신하여 다양한 정보를 교환하거나, 이 장치들을 제어할 수 있다.
제어 장치(210)는 프로세서(211)와 메모리(212)를 포함할 수 있다. 제어 장치(210)는 기능에 따라 하나 또는 그 이상의 서브-장치를 포함할 수 있으며, 각 서브-장치는 프로세서와 메모리 중 적어도 하나를 포함하고, 해당 서브-장치의 기능에 관련된 처리를 수행하도록 할 수 있다. 예를 들어, 제어 장치(210)는 차량(200) 내부 및 외부의 통신을 담당하는 TCU(telematics control unit)을 포함할 수 있다.
제어 장치(210)는 자율 주행을 담당하는 자율 주행 장치를 포함할 수 있다. 제어 장치(210)의 승객에게 주행 정보를 표시하거나 다양한 엔터테인먼트를 제공하는 인포테인먼트 시스템 또는 AVN(Audio Video Navigation) 시스템을 포함할 수 있다. 이하의 실시예에 따라, 제어 장치(210)는 TCU 또는 인포테인먼트 시스템을 포함할 수 있다. 또는, 제어 장치(210)는 TCU 및 인포테인먼트 시스템의 조합 또는 다른 기능의 조합을 포함할 수도 있다.
자율 주행을 위한 제어 장치(210)는, 획득된 데이터에 기초하여, 자율 주행을 위한 패스를 생성할 수 있다. 제어 장치(210)는, 생성된 경로를 따라 주행하기 위한 드라이빙 플랜을 생성 할 수 있다. 제어 장치(210)는, 드라이빙 플랜에 따른 차량의 움직임을 제어하기 위한 신호를 생성할 수 있다. 자율 주행 장치(210)는, 생성된 신호를 가속장치(230), 브레이크 장치(240), 조향 장치(250) 및 엔진(270)에 제공할 수 있다.
프로세서(211)는 ASIC(application-specific integrated circuit), CPU(central processing unit), AP(application processor), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 마이크로 제어기, 칩셋, 논리 회로, 데이터 처리 장치 및/또는 이들의 조합을 포함할 수 있다. 이하의 실시예에 대한 소프트웨어 구현에 있어서, 여기서 기술된 기능을 수행하는 소프트웨어 코드는 메모리(212)에 저장되고, 프로세서(211)에 의해 처리될 수 있다.
메모리(212)는 프로세서(211)에 의해 액세스가능한 정보를 저장할 수 있다. 상기 정보는 프로세서(211)에 의해 실행가능한 명령어(instructions) 및/또는 프로세서에 의해 처리되는 데이터를 포함할 수 있다. 메모리(212)는 정보를 저장하도록 동작하는 어떤 형태의 컴퓨터 읽기 가능한 매체(computer-readable medium)를 포함할 수 있다. 예를 들어, 메모리(212)는 ROM(read only memory), RAM(random access memory), DVD(digital video disc), 옵티칼 디스크(optical disc), 플래쉬 메모리, SSD(Solid State Drive), 하드 드라이브(hard drive) 및 이들의 조합을 포함할 수 있다.
제어 장치(210)가 하나의 물리적 블록으로 프로세서와 메모리를 포함하는 것으로 나타내지만, 제어 장치(210)는 다수 프로세서와 다수 메모리를 포함할 수 있고, 물리적 또는 논리적으로 동작가능하게 연결될 수 있다.
제어 장치(210)는 정보를 표시하기 위한 디스플레이 장치(280)와 연결될 수 있다. 디스플레이 장치(280)는 LCD(liquid crystal display) 터치 스크린 또는 OLED(Organic Light Emitting Diode) 터치 스크린을 포함하고, 승차자의 상태나 제스처를 검출하기 위한 다양한 센서(비디오 카메라, 마이크(microphone) 등)를 포함할 수 있다.
제어 장치(210)는 무선 매체(wireless medium)을 통해 다른 기기와의 통신하도록 설정되는 무선 모뎀(290)과 연결될 수 있다. 제어 장치(210)는 무선 모뎀(290)을 통해 차량(200) 내부/외부 모바일 기기 또는 서버(도 1의 120) 또는 주변 차량과 무선 신호를 교환할 수 있다. 무선 모뎀(290)에 의해 지원되는 무선 통신 프로토콜에는 제한이 없으며, 무선 모뎀(290)은 셀룰라 통신, WiFi, Bluetooth, Zigbee, 적외선 링크 등 다양한 무선 통신 프로토콜을 지원할 수 있다.
제어 장치(210)의 메모리(212)는 맵 정보 및/또는 드라이빙 플랜 데이터(driving plan data)를 가질 수 있다. 드라이빙 플랜 데이터는 차량(200)이 현재 위치부터 목적지까지의 차량의 위치를 트랙킹하기 위한 차량 경로(trajectory)에 관한 정보를 포함할 수 있다. 드라이빙 플랜 데이터는 운전자에게 경로를 안내하거나, 자율 주행을 위해 사용될 수 있다. 맵 정보는 주행 환경을 정의하기 위한 다양한 맵을 포함할 수 있다. 맵 정보는 도로(roadway)의 모양과 고도(elevation), 차선(lane line), 교차로(intersection), 횡단보도(crosswalk), 속도 제한(speed limit), 교통신호(traffic signal), 빌딩 또는 다른 물체나 정보를 포함할 수 있다. 맵 정보는 실시간 트래픽 정보, 도로 상 장애물(obstruction), 도로 상태 정보 등을 더 포함할 수 있다. 맵 정보와 드라이빙 플랜 데이터는 서버(120)에 의해 주어진 정보를 기반으로 업데이트되거나, 차량(200)의 센싱 장치(260)에 의해 검출된 정보를 기반으로 업데이트될 수 있다.
제어 장치(210)는 일렉트로닉 호라이즌 데이터(Electronic Horizon Data)를 생성할 수 있다. 일렉트로닉 호라이즌 데이터는, 차량(200)이 위치한 지점에서부터 호라이즌(horizon)까지 범위 내에서의 드라이빙 플랜 데이터로 이해될 수 있다. 호라이즌은, 기 설정된 주행 경로를 기준으로, 차량(200)이 위치한 지점에서 기설정된 거리 앞의 지점으로 이해될 수 있다. 호라이즌은, 기 설정된 주행 경로를 따라 차량(200)이 위치한 지점에서부터 차량(200)이 소정 시간 이후에 도달할 수 있는 지점을 의미할 수 있다.
일렉트로닉 호라이즌 데이터는, 호라이즌 맵 데이터 및 호라이즌 패스 데이터를 포함할 수 있다.
호라이즌 맵 데이터는, 토폴로지 데이터(topology data), 도로 데이터, HD 맵 데이터 및 다이나믹 데이터(dynamic data) 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 호라이즌 맵 데이터는, 복수의 레이어를 포함할 수 있다. 예를 들면, 호라이즌 맵 데이터는, 토폴로지 데이터에 매칭되는 1 레이어, 도로 데이터에 매칭되는 제2 레이어, HD 맵 데이터에 매칭되는 제3 레이어 및 다이나믹 데이터에 매칭되는 제4 레이어를 포함할 수 있다. 호라이즌 맵 데이터는, 스태이틱 오브젝트(static object) 데이터를 더 포함할 수 있다.
토폴로지 데이터는, 도로 중심을 연결해 만든 지도로 설명될 수 있다. 토폴로지 데이터는, 차량의 위치를 대략적으로 표시하기에 알맞으며, 주로 운전자를 위한 내비게이션에서 사용하는 데이터의 형태일 수 있다. 토폴로지 데이터는, 차로에 대한 정보가 제외된 도로 정보에 대한 데이터로 이해될 수 있다. 토폴로지 데이터는 외부 서버로부터 수신된 데이터에 기초하여 생성될 수 있다. 토폴로지 데이터는, 차량(200)에 구비된 적어도 하나의 메모리에 저장된 데이터에 기초할 수 있다.
도로 데이터는, 도로의 경사 데이터, 도로의 곡률 데이터, 도로의 제한 속도 데이터 중 적어도 어느 하나를 포함할 수 있다. 도로 데이터는, 추월 금지 구간 데이터를 더 포함할 수 있다. 도로 데이터는 외부 서버로부터 수신된 데이터에 기초할 수 있다. 도로 데이터는, 오브젝트 검출 장치에서 생성된 데이터에 기초할 수 있다.
HD 맵 데이터는, 도로의 상세한 차선 단위의 토폴로지 정보, 각 차선의 연결 정보, 차량의 로컬라이제이션(localization)을 위한 특징 정보(예를 들면, 교통 표지판, Lane Marking/속성, Road furniture 등)를 포함할 수 있다. HD 맵 데이터는, 통신 장치(220)를 통해, 외부 서버에서 수신된 데이터에 기초할 수 있다.
다이나믹 데이터는, 도로상에서 발생될 수 있는 다양한 동적 정보를 포함할 수 있다. 예를 들면, 다이나믹 데이터는, 공사 정보, 가변 속도 차로 정보, 노면 상태 정보, 트래픽 정보, 무빙 오브젝트 정보 등을 포함할 수 있다. 다이나믹 데이터는 외부 서버로부터 수신된 데이터에 기초할 수 있다. 다이나믹 데이터는, 오브젝트 검출 장치에서 생성된 데이터에 기초할 수 있다.
호라이즌 패스 데이터는, 차량(200)이 위치한 지점에서부터 호라이즌까지의 범위 내에서 차량(200)이 취할 수 있는 궤도로 설명될 수 있다. 호라이즌 패스 데이터는, 디시전 포인트(decision point)(예를 들면, 갈림길, 분기점, 교차로 등)에서 어느 하나의 도로를 선택할 상대 확률을 나타내는 데이터를 포함할 수 있다. 상대 확률은, 최종 목적지까지 도착하는데 걸리는 시간에 기초하여 계산될 수 있다. 예를 들면, 디시전 포인트에서, 제1 도로를 선택하는 경우 제2 도로를 선택하는 경우보다 최종 목적지에 도착하는데 걸리는 시간이 더 작은 경우, 제1 도로를 선택할 확률은 제2 도로를 선택할 확률보다 더 높게 계산될 수 있다.
호라이즌 패스 데이터는, 메인 패스와 서브 패스를 포함할 수 있다. 메인 패스는, 선택될 상대적 확률이 높은 도로들을 연결한 궤도로 이해될 수 있다. 서브 패스는, 메인 패스 상의 적어도 하나의 디시전 포인트에서 분기될 수 있다. 서브 패스는, 메인 패스 상의 적어도 하나의 디시전 포인트에서 선택될 상대적 확률이 낮은 적어도 어느 하나의 도로를 연결한 궤도로 이해될 수 있다.
이제 3D 이미지를 활용한 차량의 모니터링 시스템에 대해 기술한다.
도 3은 차량의 내부에 장착되는 복수의 3D 카메라를 갖는 카메라 시스템을 나타낸다.
카메라 시스템(300)은 차량의 전방에 배치되는 전방 3D 카메라 장치(310), 차량의 중간에 배치되는 중간 3D 카메라 장치(320) 및 차량의 후방에 배치되는 후방 3D 카메라 장치(330)를 포함한다. 카메라 시스템(300)은 차량 내부의 이미지를 캡쳐하기 위한 것으로, 전방 3D 카메라 장치(310), 중간 3D 카메라 장치(320) 및 후방 3D 카메라 장치(330) 모두는 차량의 내부에 관한 뷰를 갖도록 지향된다(orient).
각 3D 카메라 장치는 하우징과 상기 하우징에 장착되는 복수의 카메라를 포함한다. 카메라는 하나 또는 그 이상의 렌즈와 이미지 센서를 포함할 수 있다. 각 3D 카메라 장치는 구 모양(spherical) 하우징을 가지는 것을 보여주나 이는 예시에 불과하다. 3D 카메라 장치내 각 카메라는 고정된 위치에 있다. 3D 이미지를 캡쳐하기 위한 입체적(stereoscopic) FOV(field of view)를 형성하기 위해, 3D 카메라 장치내의 각 카메라는 적어도 하나의 주변 카메라의 FOV와 중복되는 FOV를 가진다. 예를 들어, 후방 3D 카메라 장치(330)의 제1 카메라(331)는 제2 카메라(332)와 중복되는 FOV를 가진다.
서로 다른 3D 카메라 장치의 카메라도 중복되는 FOV를 가질 수 있다. 예를 들어, 전방 3D 카메라 장치(310)의 제1 카메라와 중간 3D 카메라 장치(320)의 제2 카메라가 중복되는 FOV를 가질 수 있다.
도 4는 중복되는 FOV를 이용하여 3D 모델링을 수행하는 일 예를 보여준다.
제1 카메라(311)는 전방 3D 카메라 장치(310)에 속하고, 제2 카메라(321)은 중간 3D 카메라 장치(310)에 속한다. 제1 카메라(311)와 제2 카메라(321)는 중복된 FOV를 가지고, 물체(예, 운전자)를 캡쳐하고 있다고 하자.
기준 X-Y-Z 좌표계를 기준으로, 기준점 r에서 운전자의 머리를 나타내는 벡터를 T라 하자. 3D 모델링은 카메라의 이미지를 기반으로 벡터 T를 찾아내는 것이다.
제1 카메라(311)의 위치를 벡터 R1로 표시하고, 제2 카메라(321)의 위치를 벡터 R2라 표시한다. 벡터 R1과 R2는 캘리브레이션을 통해 미리 알려진 값이다.
제1 카메라(311)가 타겟(즉, 운전자의 머리)를 캡쳐하는 것을 벡터 aP1 이라 나타내고, 제2 카메라(321)가 타겟을 캡쳐하는 것을 벡터 bP2 라 나타낸다. P1와 P2는 각 카메라의 2D 픽셀 데이터를 기반으로 찾을 수 있다. 'a'와 'b'는 각 카메라에서 타켓까지의 거리를 나타내는 스칼라 값들이다.
타켓으로의 벡터 (1) T = R1+aP1 = R2+bP2 이다. 거리 벡터 R3=R2-R1 이므로, 다시 쓰면, aP1 = R3 + bP2 이다. P2로 외적(cross product)을 취하면, a(P1×P2)=(R3×P2). P1으로 외적을 취하면, b(P2×P1)=-R3. 따라서, a=(R3×P2)/(P1×P2), b=-R3/(P2×P1) 이다. 구해진 a를 식 (1)에 넣으면, T=R1+((R3×P2)/(P1×P2))P1. 벡터 T에 의해 기준 좌표계를 기준으로 타겟의 정확한 위치가 결정된다. 이와 같은 방식으로 카메라 시스템(300)은 이미지 내 3D 좌표계를 정확히 나타낼 수 있다.
도 3의 실시예에 의하면, 카메라 시스템(300)이 차량의 전방, 중간, 후방에 각 하나의 3D 카메라 장치를 포함하는 것을 나타내고 있으나, 이는 예시에 불과하다. 차량 내 승객 이나 물체, 내부 상태에 관한 하나 또는 그 이상의 3D 이미지를 캡쳐하기 위해 다양한 방식으로 3D 카메라 장치가 배치될 수 있다.
도 5는 차량 내부의 이미지를 캡쳐하기 위한 카메라 시스템의 다른 예를 보여준다. 카메라 시스템(500)은 차량 상측 모서리 부분에 각각 배치되여, 차량의 내부에 관한 3D 이미지를 생성하는 4개의 3D 카메라 장치(510, 520, 530, 540)를 포함한다.
카메라 시스템 내 3D 카메라 장치의 갯수나 위치는 차량의 내부 및/또는 외부에 관한 3D 이미지를 생성하기 위해 다양하게 변형될 수 있다.
도 6은 차량 외부의 이미지를 캡쳐하기 위한 카메라 시스템의 다른 예를 보여준다.
카메라 시스템(600)은 차량 내부의 3D 이미지 뿐만 아니라 차량 외부의 3D 이미지를 캡쳐할 수 있다. 카메라 시스템(600)은 차량 전방의 좌우에 2개의 3D 카메라 장치(610, 620)와 차량 후방의 좌에 2개의 3D 카메라(630, 640)를 포함할 수 있다. 차량 전방에 배치되는 3D 카메라 장치(610), 620)는 사이드 미러에 장착되는 예를 보여주나, 이는 예시에 불과하다.
차량의 주차를 보조하기 위해 많이 사용되는 서라운드 뷰 모니터링 시스템은 일반적으로 차량의 외측으로 지향되어, 차량에 인접한 물체를 인식하기 위한 광각 카메라를 사용한다. 이에 반해, 3D 카메라 장치(610, 620, 630, 630)는 충돌 감지 대신 차량 외부의 상태를 모니터링하기 위한 것으로, 보다 구체적으로 차량 도어의 외측면에 관한 뷰를 제공하도록 배치된다. 따라서, 카메라 시스템(600)은 차량 외측면의 흠집(scratch)이나 손상(damage)에 관한 3D 이미지를 제공할 수 있다.
도 7은 본 명세서의 일 실시예에 따른 차량을 모니터링하는 장치를 나타낸 블록도이다.
모니터링 장치는 카메라 시스템(710)과 제어장치(750)를 포함한다. 카메라 시스템(710)은 차량 외부 및 내부의 3D 이미지를 캡쳐하기 위한 복수의 3D 카메라 장치를 포함한다. 카메라 시스템(710)은 자율적으로 또는 제어장치(750)의 지시에 따라 캡쳐된 3D 이미지 또는 3D 비디오를 제어장치(750)에게 제공할 수 있다. 제어장치(750)는 프로세서(751)와 메모리(752)를 포함한다. 프로세서(751)는 제어장치(750)의 동작을 구현한다. 메모리(752)는 동작을 위한 명령어 및 다양한 정보를저장한다.
제어장치(750)는 카메라 시스템(710)으로부터 3D 이미지를 제공받아 차량이 다양한 동작을 수행하도록할 수 있다. 제어장치(750)는 카메라 시스템(710)을 제어할 수 있다. 제어장치(750)는 무선 통신 네트워크를 이용하여 서버 및/또는 사용자와 통신할 수 있다. 제어장치(750)는 카메라 시스템(710)에게 3D 이미지의 캡쳐를 지시할 수 있다. 차량의 배터리 파워 소모를 절감하기 위해, 제어장치(750)는 카메라 시스템(700)의 파워를 제어할 수 있다. 제어장치(750)는 카메라 시스템(710) 내 3D 카메라 장치의 파워를 ON 또는 OFF 할 수 있다. 제어장치(750)는 3D 카메라 장치 내 각 카메라의 파워를 ON 또는 OFF 할 수 있다.
도 8은 본 명세서의 일 실시예에 따른 차량을 모니터링하는 방법를 나타낸 블록도이다. 이 방법은 차량의 모니터링 장치에 의해 수행될 수 있다.
단계 S810에서, 엔진이 OFF 되면, 제어장치와 카메라 시스템은 저전력 모드에서 동작한다. 저전력 모드에서 제어장치와 카메라 시스템은 차량의 배터리 소모를 줄이기 위해 최소한의 동작만을 수행한다.
단계 S820에서, 차량을 주기적으로 모니터링한다. 저전력 모드에서는 카메라 시스템내 복수의 3D 카메라 장치 중 적어도 하나의 3D 카메라에 장착된 카메라에 주기적으로 파워가 공급될 수 있다. 예를 들어, 전방 3D 카메라 장치내 제1 카메라와 중간 3D 카메라 장치내 제2 카메라에게 주기적으로 파워가 공급될 수 있다. 상기 주기는 수분 또는 십수분일 수 있으며, 제한이 있는 것은 아니다.
파워가 공급된 카메라는 차량의 내부 이미지 및/또는 외부 이미지를 캡쳐하여 물체의 움직임이 있는지 여부를 모니터링한다. 물체의 움직임이 검출되면, 제어 장치로 웨이크 업(wakeup) 신호가 제공된다. 상기 카메라는 이전 주기에 캡쳐된 이미지와 현재 주기에 캡쳐된 이미지를 비교하여, 상기 2개의 이미지에 관한 차이(disparity)가 미리 지정된 기준(predefiend criterion)보다 크면, 물체의 움직임이 있다고 판단할 수 있다. 예를 들어, 차량 내 미쳐 하차하지 못한 어린아이가 있다면, 물체의 움직임이 있다고 판단될 수 있다. 차량의 외부에 미승인된 사람이 인식되면, 물체의 움직임이 있다고 판단될 수 있다.
단계 S830에서, 제어 장치는 상기 차량에 관한 3D 이미지를 캡쳐하도록 카메라 시스템에 지시한다. 상기 웨이크 업 신호를 수신한 제어장치는 저전력 모드에서 활성 모드(active mode)로 전환하고, 상기 카메라 시스템에 파워를 공급한다. 그리고, 제어장치는 상기 차량에 관한 3D 이미지를 캡쳐하도록 카메라 시스템에 지시한다.
카메라 시스템은 캡쳐 구간 동안 서로 다른 시간에 복수의 3D 이미지를 캡쳐한다. 상기 캡쳐 구간은 수십초 또는 수분일 수 있으나, 제한이 있는 것은 아니다. 캡쳐되는 3D 이미지의 갯수는 적어도 2개이고, 그 갯수에 제한이 있는 것은 아니다.
단계 S840에서, 제어장치는 상기 캡쳐된 복수의 3D 이미지를 기반으로 사용자에게 이상(abnormal) 상태를 통지할 수 있다. 제어장치는 복수의 3D 이미지를 비교하여, 상기 복수의 3D 이미지에 관한 차이가 미리 지정된 기준 보다 크면, 상기 사용자에게 상기 이상 상태를 통지할 수 있다. 상기 사용자는 등록된 사용자 및/또는 차량의 소유자일 수 있다.
제어장치는 차량의 엔진이 OFF된 상태에서 상기 복수의 3D 이미지에 관한 차이가 미리 지정된 기준 보다 크고, 차량의 스마트 키가 차량의 일정 거리이내에 인식되지 않을 때, 상기 이상 상태를 통지할 수 있다.
제어장치는 3D 이미지를 통해 어떤 종류의 물체인지 또는 물체의 움직임 정도를 보다 정확하게 판단할 수 있다. 사용자에게 이상 상태를 통지할 정도라고 판단되면, 제어장치는 사용자에게 이상 상태를 전송한다.
이상 상태는 움직임의 검출 여부, 물체의 종류 및/또는 캡쳐된 복수의 3D 이미지 중 적어도 하나에 관한 정보를 포함할 수 있다.
이상 상태의 통지는 무선 통신 네트워크를 통해 수행될 수 있다. 제어장치가 서버로 이상 상태를 보내고, 서버가 사용자에게 이상 상태를 전달할 수 있다.
도 9는 차량의 이상 상태가 검출되는 예를 보여준다.
모니터링 장치는 엔진이 OFF 된 차량의 내부 및 외부을 주기적으로 모니터링한다. 모니터링 장치는 차량의 외부에 미승인된 사람의 움직임이 검출되면, 사용자의 모바일 기기로 현재 이미지 및 이상 상태를 보낸다.
사용자의 입력에 따라 모니터링 장치는 직접 경찰서에 연락하거나, 알람 등을 통해 미승인된 사람에게 경고할 수 있다.
다른 예로, 모니터링 장치는 엔진이 OFF된 차량 내부에 방치된 어린아이가 검출되면, 사용자의 모바일 기기로 현재 이미지 및 이상 상태를 보낼 수 있다.
주차된 차량에 차량 내부의 기기를 훔치려 하거나 차량 사고가 났을 경우, 실시간으로 원격 알림과 동시에 차량 내부 및 외부 모니터링 가능하다.
원격으로 차량의 이상 상황을 모니터링하고, 알람 기능을 제공할 수 있다. 차량이 주차된 상황에서 원격에서 주차 상황 확인이 가능하다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 차량을 모니터링하는 장치에 있어서,
    상기 차량에 장착되는 제어 장치; 및
    복수의 3D 카메라 장치를 포함하고, 상기 복수의 3D 카메라 장치 각각은 복수의 카메라를 포함하며, 상기 차량의 내부 및 외부를 모니터링하는 카메라 시스템을 포함하되,
    상기 차량의 엔진이 커진 상태에서, 상기 복수의 3D 카메라 장치 중 적어도 하나의 3D 카메라 장치에 장착된 카메라에 주기적으로 파워가 공급되며,
    상기 파워가 공급된 카메라는 이미지를 캡쳐하여 물체의 움직임이 검출되면, 상기 제어 장치로 웨이크 업 신호를 제공하며,
    상기 웨이크 업 신호를 수신한 상기 제어 장치는 상기 카메라 시스템에 파워를 공급하고 상기 차량에 관한 3D 이미지를 캡쳐하도록 지시하고,
    상기 제어장치는 상기 캡쳐된 3D 이미지를 기반으로 사용자에게 이상(abnormal) 상태를 통지하는 것을 특징으로 하는 장치.
  2. 제 1 항에 있어서,
    상기 제어장치는 상기 카메라 시스템으로부터 서로 다른 시간에 캡쳐된 복수의 3D 이미지를 수신하고,
    상기 복수의 3D 이미지를 비교하여, 상기 복수의 3D 이미지에 관한 차이(disparity)가 미리 지정된 기준 보다 크면, 상기 사용자에게 상기 이상 상태를 통지하는 것을 특징으로 하는 장치.
  3. 제 1 항에 있어서,
    상기 파워가 공급된 카메라는 이전 주기에 캡쳐된 이미지와 현재 주기에 캡쳐된 이미지를 비교하여, 상기 2개의 이미지에 관한 차이가 미리 지정된 기준보다 크면, 상기 제어 장치로 상기 웨이크 업 신호를 제공하는 것을 특징으로 하는 장치.
  4. 제 1 항에 있어서,
    3D 카메라 장치 내 각 카메라는 입체적인 FOV(stereoscopic field of view)를 형성하기 위해 다른 카메라의 FOV와 중복되는 FOV를 갖는 것을 특징으로 하는 장치.
  5. 제어장치 및 카메라 시스템을 포함하는 모니터링 장치에 의해 수행되는 차량을 모니터링하는 방법에 있어서,
    상기 차량의 엔진이 커진 상태에서, 상기 카메라 시스템 내 복수의 3D 카메라 장치 중 적어도 하나의 3D 카메라 장치에 장착된 카메라에 주기적으로 파워를 공급하고;
    상기 파워가 공급된 카메라가 이미지를 캡쳐하여 물체의 움직임이 검출되면, 상기 제어 장치로 웨이크 업 신호를 제공하고;
    상기 웨이크 업 신호를 수신한 상기 제어 장치가 상기 카메라 시스템에 파워를 공급하여 상기 차량에 관한 3D 이미지를 캡쳐하도록 지시하고; 및
    상기 캡쳐된 3D 이미지를 기반으로 사용자에게 이상(abnormal) 상태를 통지하는 것을 포함하는 방법.
  6. 제 5 항에 있어서,
    상기 제어장치는 상기 카메라 시스템으로부터 서로 다른 시간에 캡쳐된 복수의 3D 이미지를 수신하고,
    상기 복수의 3D 이미지를 비교하여, 상기 복수의 3D 이미지에 관한 차이(disparity)가 미리 지정된 기준 보다 크면, 상기 사용자에게 상기 이상 상태를 통지하는 것을 특징으로 하는 방법
  7. 제 5 항에 있어서,
    상기 파워가 공급된 카메라는 이전 주기에 캡쳐된 이미지와 현재 주기에 캡쳐된 이미지를 비교하여, 상기 2개의 이미지에 관한 차이가 미리 지정된 기준보다 크면, 상기 제어 장치로 상기 웨이크 업 신호를 제공하는 것을 특징으로 하는 방법.
  8. 제 5 항에 있어서,
    3D 카메라 장치 내 각 카메라는 입체적인 FOV(stereoscopic field of view)를 형성하기 위해 다른 카메라의 FOV와 중복되는 FOV를 갖는 것을 특징으로 하는 방법.
PCT/KR2020/005348 2020-04-23 2020-04-23 차량을 모니터링하는 방법 및 장치 WO2021215559A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/005348 WO2021215559A1 (ko) 2020-04-23 2020-04-23 차량을 모니터링하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/005348 WO2021215559A1 (ko) 2020-04-23 2020-04-23 차량을 모니터링하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021215559A1 true WO2021215559A1 (ko) 2021-10-28

Family

ID=78269330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005348 WO2021215559A1 (ko) 2020-04-23 2020-04-23 차량을 모니터링하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2021215559A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220164958A1 (en) * 2020-11-24 2022-05-26 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method Of Using Camera For Both Internal And External Monitoring Of A Vehicle
CN115534863A (zh) * 2022-08-31 2022-12-30 重庆长安汽车股份有限公司 车辆控制方法、装置、车载控制设备、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130038443A (ko) * 2011-10-10 2013-04-18 주식회사 만도 차량 안전장치 제어 시스템 및 그 제어 방법
KR101431738B1 (ko) * 2013-04-29 2014-08-19 주식회사 카텍 스테레오비전기술을 이용한 차량의 운전상황 감시장치
KR101482029B1 (ko) * 2014-01-03 2015-01-13 (주) 티캠솔루션 차량 주변의 감시를 통한 차량관리 시스템
JP2015185064A (ja) * 2014-03-26 2015-10-22 株式会社エフ・アール・シー 動体検出システム及び動体検出装置
KR20180040012A (ko) * 2016-10-11 2018-04-19 주식회사 만도 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130038443A (ko) * 2011-10-10 2013-04-18 주식회사 만도 차량 안전장치 제어 시스템 및 그 제어 방법
KR101431738B1 (ko) * 2013-04-29 2014-08-19 주식회사 카텍 스테레오비전기술을 이용한 차량의 운전상황 감시장치
KR101482029B1 (ko) * 2014-01-03 2015-01-13 (주) 티캠솔루션 차량 주변의 감시를 통한 차량관리 시스템
JP2015185064A (ja) * 2014-03-26 2015-10-22 株式会社エフ・アール・シー 動体検出システム及び動体検出装置
KR20180040012A (ko) * 2016-10-11 2018-04-19 주식회사 만도 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220164958A1 (en) * 2020-11-24 2022-05-26 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method Of Using Camera For Both Internal And External Monitoring Of A Vehicle
CN115534863A (zh) * 2022-08-31 2022-12-30 重庆长安汽车股份有限公司 车辆控制方法、装置、车载控制设备、车辆及存储介质
CN115534863B (zh) * 2022-08-31 2024-06-04 重庆长安汽车股份有限公司 车辆控制方法、装置、车载控制设备、车辆及存储介质

Similar Documents

Publication Publication Date Title
US20200193831A1 (en) Pedestrian side collision warning systems and methods
JP6691032B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN108297880A (zh) 分心驾驶员通知系统
CN107851656B (zh) 摄像装置和测距系统
WO2018087883A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US10864855B2 (en) Imaging control apparatus, method for controlling imaging control apparatus, and mobile body
CN108986510A (zh) 一种面向路口的智能化本地动态地图实现系统及实现方法
US11044598B2 (en) Mobile its station and method of transmitting/receiving a message thereof
WO2021215559A1 (ko) 차량을 모니터링하는 방법 및 장치
KR20210013044A (ko) 정보 처리 장치, 정보 처리 방법, 촬영 장치, 조명 장치 및 이동체
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2020241971A1 (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
WO2021201304A1 (ko) 자율주행을 보조하는 방법 및 장치
KR20210017897A (ko) 차량용 전자 장치 및 그의 동작 방법
WO2020202378A1 (ja) 表示制御装置、表示制御方法及びプログラム
WO2021201308A1 (ko) 신호 품질을 고려한 맵을 생성하는 방법 및 이를 이용한 차량을 위한 장치
WO2021201305A1 (ko) 차량을 위한 통신 프로토콜을 변경하는 방법 및 장치
WO2021201306A1 (ko) 차량에 의해 기록된 비디오를 전송하는 방법 및 장치
KR20210090301A (ko) 군집주행을 수행하는 차량 제어
KR102658916B1 (ko) 자율주행 차량 안전 지원 및 확장 시스템
US20240005632A1 (en) Method for reconstructing 3d information from 2d image and method and apparatus for measuring distance between vehicles using thereof
US20240161604A1 (en) Electronic Device and Method for Processing Data in an Intelligent Transport System
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2021002505A1 (ko) 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법
KR20230033153A (ko) 자율주행 차량의 청결 유지 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20932502

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20932502

Country of ref document: EP

Kind code of ref document: A1