WO2021201307A1 - 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치 - Google Patents

차량에 의해 기록되는 비디오를 전송하는 방법 및 장치 Download PDF

Info

Publication number
WO2021201307A1
WO2021201307A1 PCT/KR2020/004304 KR2020004304W WO2021201307A1 WO 2021201307 A1 WO2021201307 A1 WO 2021201307A1 KR 2020004304 W KR2020004304 W KR 2020004304W WO 2021201307 A1 WO2021201307 A1 WO 2021201307A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
signal quality
video
information
prediction
Prior art date
Application number
PCT/KR2020/004304
Other languages
English (en)
French (fr)
Inventor
임선희
장은송
김동욱
박민규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2020/004304 priority Critical patent/WO2021201307A1/ko
Publication of WO2021201307A1 publication Critical patent/WO2021201307A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Definitions

  • TECHNICAL FIELD This specification relates to video transmission for vehicles, and more particularly to methods and apparatus for transmitting video recorded by vehicles.
  • a vehicle is a device that moves a passenger from one place to another.
  • a typical example is a car.
  • V2X (vehicle-to-everything) communication technology which means vehicle-to-things communication, refers to a technology in which a vehicle communicates with other vehicles, pedestrians, road infrastructure, and servers to provide a series of services.
  • DSRC Dedicated Short Range Communications
  • LTE Long Term Evolution
  • NR New Radio
  • Vehicles for V2X are operating based on wireless communication through wireless media with peripheral devices. Recently, as the quality of wireless communication has improved, a technique in which a vehicle directly transmits a video to a peripheral device has emerged. When a vehicle based on wireless communication is driving, the signal quality may vary depending on the surrounding environment, which may cause a problem in the reliability of video transmission.
  • the present specification provides a method for transmitting a video recorded by a vehicle and a control device using the same.
  • a method of transmitting a video performed by a control device of a vehicle and recorded by the vehicle. updating a signal quality map along the driving path of the vehicle, adjusting a bit rate of the video based on the signal quality map, and transmitting the adjusted video.
  • a control device for a vehicle includes a processor and a memory coupled to the processor for storing instructions that, when executed by the processor, cause the vehicle to perform a function.
  • the function is to update the signal quality map along the driving route of the vehicle, record a video about the surroundings of the vehicle, adjust the bit rate of the video based on the signal quality map, and send the adjusted video includes doing
  • FIG. 1 shows a system to which an embodiment is applied.
  • FIG. 2 is a block diagram illustrating a vehicle implementing the present embodiment.
  • FIG. 5 illustrates a map generation method according to an embodiment of the present specification.
  • FIG. 6 shows another example of generating a signal quality map.
  • FIG. 8 is a flowchart illustrating an operation of a video transmission vehicle according to an embodiment of the present invention.
  • FIG. 9 is a block diagram illustrating an encoding module supporting scalability.
  • the left side of the vehicle means the left side in the forward driving direction of the vehicle
  • the right side of the vehicle means the right side in the forward driving direction of the vehicle
  • FIG. 1 shows a system to which an embodiment is applied.
  • the system 100 includes a vehicle 200 , a base station 110 , and a server 120 .
  • the vehicle 200 may communicate with the base station 110 and/or the surrounding vehicle 130 using a wireless communication protocol.
  • wireless communication protocols for example, Dedicated Short Range Communications (DSRC) based on IEEE (Institute of Electrical and Electronics Engineers) 802.11, WiFi, C-V2X and/or 3rd Generation Partnership Project (3GPP) based of a cellular communication protocol (eg, Wideband Code Division Multiple Access (WCDMA), Long Term Evolution (LTE), New Radio (NR), etc.).
  • DSRC Dedicated Short Range Communications
  • IEEE Institute of Electrical and Electronics Engineers
  • WiFi Wireless Fidelity
  • C-V2X Third Generation Partnership Project
  • 3GPP 3rd Generation Partnership Project
  • WCDMA Wideband Code Division Multiple Access
  • LTE Long Term Evolution
  • NR New Radio
  • the base station 110 may communicate with the vehicle 200 or other base stations using various wireless communication protocols such as DSRC, C-V2X, and cellular communication protocols.
  • various wireless communication protocols such as DSRC, C-V2X, and cellular communication protocols.
  • the server 120 is connected to one or more base stations 110 and includes computing hardware that provides a driving data service to the vehicle 200 .
  • the computing hardware may include a processor and memory.
  • the memory stores map data and driving environment information described in the following embodiments, and the processor may provide the data to the vehicle 200 .
  • the processor may update the map data based on data received from one or more vehicles 200 .
  • the server may be a Mobile/Mutli-access Edge Computing (MEC) based server or a centralized based server.
  • MEC Mobile/Mutli-access Edge Computing
  • the vehicle 200 is defined as a means of transport traveling on a road or track.
  • the vehicle 200 is a concept including a car, a train, and a motorcycle.
  • the vehicle 200 may be a concept including an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the vehicle 200 may be a vehicle owned by an individual.
  • the vehicle 200 may be a shared vehicle.
  • the vehicle 200 may be an autonomous driving vehicle.
  • the vehicle 200 may be set to operate autonomously.
  • Autonomous driving refers to driving without the assistance of a human driver, for example.
  • the vehicle 200 may be set to detect the surrounding vehicle 130 and determine the path of the detected vehicle.
  • the vehicle 200 may communicate with the surrounding vehicle 130 to exchange information.
  • the vehicle 200 may perform a switching operation from the autonomous driving mode to the manual driving mode or a switching operation from the manual driving mode to the autonomous driving mode. For example, the vehicle 200 may change the mode of the vehicle 10 from the autonomous driving mode to the manual driving mode or from the manual driving mode to the autonomous driving mode based on a signal received from the user interface device.
  • ADAS Advanced Driver Assistance System
  • ADAS includes Adaptive Cruise Control (ACC), Autonomous Emergency Braking (AEB), Forward Collision Warning (FCW), Lane Keeping Assist (LKA), ), Lane Change Assist (LCA), Target Following Assist (TFA), Blind Spot Detection (BSD), Adaptive High Beam Control (HBA) , Auto Parking System (APS), Pedestrian Collision Warning System (PD Collision Warning System), Traffic Sign Recognition (TSR), Trafffic Sign Assist (TSA), Night Vision System At least one of a Night Vision (NV), a Driver Status Monitoring (DSM), and a Traffic Jam Assist (TJA) may be implemented.
  • ACC Adaptive Cruise Control
  • AEB Autonomous Emergency Braking
  • FCW Forward Collision Warning
  • LKA Lane Keeping Assist
  • LKA Lane Change Assist
  • LKA Lane Change Assist
  • TSA Blind Spot Detection
  • HBA Adaptive High Beam Control
  • FIG. 2 is a block diagram illustrating a vehicle implementing the present embodiment.
  • the vehicle 200 includes a control device 210 , a user interface device 220 , an acceleration device 230 , a braking device 240 , a steering device 250 , and a sensing device. (sensing device, 260) and may include an engine (engine, 270).
  • the devices presented are merely examples, and not all devices are essential.
  • the vehicle 200 may further include additional devices, or specific devices may be omitted. Some of the devices have their own processors and can perform processing related to specific functions of the device.
  • the user interface device 220 is a device for communicating between the vehicle 200 and a user.
  • the user interface device 220 may receive a user input and provide information generated in the vehicle 200 to the user.
  • the vehicle 200 may implement a user interface (UI) or a user experience (UX) through the user interface device 220 .
  • the user interface device 220 may include an input device, an output device, and a user monitoring device.
  • the acceleration device 230 may be a mechanism configured to accelerate the vehicle 200 .
  • the brake device 240 may be a mechanism set to decelerate the vehicle 200 .
  • the steering device 250 may be a mechanism set to control the direction of the vehicle 200 .
  • the vehicle 200 may accelerate through the acceleration device 230 , decelerate through the brake device 240 , and change a driving direction through the steering device 250 .
  • At least one of the acceleration device 230 , the brake device 240 , and the steering device 250 may be controlled by the control device 210 and/or an additional controller to control the speed and direction of the vehicle 200 . .
  • the sensing device 260 may include one or more sensors configured to sense information about the location/speed of the vehicle 200 and/or the environment of the vehicle 200 .
  • the sensing device 260 may include a location data generating device for measuring a geographic location of the vehicle 200 and/or an object detecting device for recognizing an object around the vehicle 200 .
  • the object detecting apparatus may generate information about an object outside the vehicle 200 .
  • the information about the object may include at least one of information on the existence of the object, location information of the object, distance information between the vehicle 200 and the object, and relative speed information between the vehicle 200 and the object. .
  • the object detecting apparatus may detect an object outside the vehicle 200 .
  • the object detecting apparatus may include at least one sensor capable of detecting an object outside the vehicle 200 .
  • the object detecting apparatus may include at least one of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the object detection apparatus may provide data on an object generated based on a sensing signal generated by the sensor to at least one control device included in the vehicle 200 .
  • the camera may generate information about an object outside the vehicle 200 by using the image.
  • the camera may include at least one lens, at least one image sensor, and at least one processor that is electrically connected to the image sensor to process a received signal, and generate data about the object based on the processed signal.
  • the camera may be at least one of a mono camera, a stereo camera, and an AVM (Around View Monitoring) camera.
  • the camera may obtain position information of the object, distance information from the object, or relative speed information with the object by using various image processing algorithms.
  • the camera may acquire distance information and relative velocity information from an object based on a change in the size of the object over time from the acquired image.
  • the camera may acquire distance information and relative speed information with respect to an object through a pinhole model, road surface profiling, or the like.
  • the camera may acquire distance information and relative velocity information from an object based on disparity information in a stereo image obtained from the stereo camera.
  • the camera may be mounted at a position where a field of view (FOV) can be secured in the vehicle in order to photograph the outside of the vehicle.
  • the camera may be disposed adjacent to the front windshield in the interior of the vehicle to acquire an image of the front of the vehicle.
  • the camera may be placed around the front bumper or radiator grill.
  • the camera may be disposed adjacent to the rear glass in the interior of the vehicle to acquire an image of the rear of the vehicle.
  • the camera may be placed around the rear bumper, trunk or tailgate.
  • the camera may be disposed adjacent to at least one of the side windows in the interior of the vehicle in order to acquire an image of the side of the vehicle.
  • the camera may be disposed around a side mirror, a fender or a door.
  • the radar may generate information about an object outside the vehicle 200 using radio waves.
  • the radar may include an electromagnetic wave transmitter, an electromagnetic wave receiver, and at least one processor that is electrically connected to the electromagnetic wave transmitter and the electromagnetic wave receiver, processes a received signal, and generates data for an object based on the processed signal.
  • the radar may be implemented in a pulse radar method or a continuous wave radar method in terms of a radio wave emission principle.
  • the radar may be implemented as a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar detects an object based on an electromagnetic wave, a time of flight (TOF) method or a phase-shift method, and detects the position of the detected object, the distance to the detected object, and the relative speed.
  • the radar may be placed at a suitable location outside of the vehicle to detect objects located in front, rear or side of the vehicle.
  • the lidar may generate information about an object outside the vehicle 200 using laser light.
  • the lidar may include at least one processor that is electrically connected to the light transmitter, the light receiver, and the light transmitter and the light receiver, processes the received signal, and generates data about the object based on the processed signal. .
  • the lidar may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • Lidar can be implemented as driven or non-driven. When implemented as a driving type, the lidar is rotated by a motor and may detect an object around the vehicle 200 . When implemented as a non-driven type, the lidar may detect an object located within a predetermined range with respect to the vehicle by light steering.
  • Vehicle 200 may include a plurality of non-driven lidar.
  • LiDAR detects an object based on a time of flight (TOF) method or a phase-shift method with a laser light medium, and calculates the position of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • the lidar may be placed at a suitable location outside of the vehicle to detect an object located in front, rear or side of the vehicle.
  • the location data generating apparatus may generate location data of the vehicle 200 .
  • the apparatus for generating location data may include at least one of a Global Positioning System (GPS) and a Differential Global Positioning System (DGPS).
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the location data generating apparatus may generate location data of the vehicle 200 based on a signal generated by at least one of GPS and DGPS.
  • the apparatus for generating location data may correct location data based on at least one of an Inertial Measurement Unit (IMU) of the sensing device 260 and a camera of the object detecting apparatus.
  • IMU Inertial Measurement Unit
  • the location data generating device may be referred to as a Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the sensing device 260 may include a state sensor configured to sense the state of the vehicle 200 .
  • the status sensor includes an inertial measurement unit (IMU) sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a position module, and a vehicle forward/reverse sensor.
  • IMU inertial measurement unit
  • a battery sensor a fuel sensor, a tire sensor, a steering sensor, a temperature sensor, a humidity sensor, an ultrasonic sensor, an illuminance sensor
  • an inertial measurement unit (IMU) sensor may include at least one of an acceleration sensor, a gyro sensor, and a magnetic sensor.
  • the sensing device 260 may generate state data of the vehicle based on a signal generated by at least one sensor.
  • the vehicle state data may be information generated based on data sensed by various sensors provided inside the vehicle.
  • the sensing device 260 may include vehicle attitude data, vehicle motion data, vehicle yaw data, vehicle roll data, vehicle pitch data, vehicle collision data, vehicle direction data, vehicle angle data, and vehicle speed. data, vehicle acceleration data, vehicle inclination data, vehicle forward/reverse data, vehicle weight data, battery data, fuel data, tire pressure data, vehicle interior temperature data, vehicle interior humidity data, steering wheel rotation angle data, vehicle exterior illumination Data, pressure data applied to the accelerator pedal, pressure data applied to the brake pedal, and the like may be generated.
  • the engine 270 provides propulsion to the vehicle 200 .
  • the engine 270 may include an internal combustion engine, an electric motor, or a combination thereof.
  • the control device 210 communicates with the user interface device 220 , the acceleration device 230 , the brake device 240 , the steering device 250 , and the sensing device 260 to exchange various information or to control these devices.
  • the control device 210 may include a processor 211 and a memory 212 .
  • the control device 210 may include one or more sub-devices according to functions, and each sub-device includes at least one of a processor and a memory, and is configured to perform processing related to the function of the corresponding sub-device.
  • the control device 210 may include a telematics control unit (TCU) responsible for communication inside and outside the vehicle 200 .
  • TCU telematics control unit
  • the control device 210 may include an autonomous driving device in charge of autonomous driving.
  • the control device 210 may include an infotainment system or AVN (Audio Video Navigation) system that displays driving information to passengers or provides various entertainment.
  • the control device 210 may include a TCU or an infotainment system.
  • the control device 210 may include a combination of a TCU and an infotainment system or a combination of other functions.
  • the control device 210 for autonomous driving may generate a path for autonomous driving based on the obtained data.
  • the control device 210 may generate a driving plan for driving along the generated path.
  • the control device 210 may generate a signal for controlling the movement of the vehicle according to the driving plan.
  • the autonomous driving device 210 may provide the generated signal to the accelerator 230 , the brake device 240 , the steering device 250 , and the engine 270 .
  • the processor 211 is an ASIC (application-specific integrated circuit), CPU (central processing unit), AP (application processor), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), microcontrollers, chipsets, logic circuits, data processing devices, and/or combinations thereof.
  • ASIC application-specific integrated circuit
  • CPU central processing unit
  • AP application processor
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • microcontrollers chipsets, logic circuits, data processing devices, and/or combinations thereof.
  • Memory 212 may store information accessible by processor 211 .
  • the information may include instructions executable by the processor 211 and/or data processed by the processor.
  • Memory 212 may include any form of computer-readable medium operative to store information.
  • the memory 212 may include a read only memory (ROM), a random access memory (RAM), a digital video disc (DVD), an optical disc, a flash memory, a solid state drive (SSD), a hard drive ( hard drive) and combinations thereof.
  • control device 210 is shown to include a processor and a memory as one physical block, the control device 210 may include a plurality of processors and a plurality of memories, and may be physically or logically operably connected.
  • the control device 210 may be connected to the display device 280 for displaying information.
  • the display device 280 includes a liquid crystal display (LCD) touch screen or an organic light emitting diode (OLED) touch screen, and includes various sensors (video camera, microphone, etc.) for detecting the state or gesture of the passenger. may include
  • the control device 210 may be connected to a wireless modem 290 configured to communicate with other devices through a wireless medium.
  • the control device 210 may exchange a wireless signal with a mobile device or server ( 120 in FIG. 1 ) or a surrounding vehicle inside/outside the vehicle 200 through the wireless modem 290 .
  • a wireless communication protocol supported by the wireless modem 290 and the wireless modem 290 may support various wireless communication protocols such as cellular communication, WiFi, Bluetooth, Zigbee, and an infrared link.
  • the memory 212 of the control device 210 may have map information and/or driving plan data.
  • the driving plan data may include information about a vehicle trajectory for the vehicle 200 to track the location of the vehicle from the current location to the destination.
  • the driving plan data may be used to guide the driver on a route or for autonomous driving.
  • the map information may include various maps for defining the driving environment. Map information includes the shape and elevation of a roadway, lane lines, intersections, crosswalks, speed limits, traffic signals, buildings or other objects. I may include information.
  • the map information may further include real-time traffic information, obstacles on the road, road condition information, and the like.
  • the map information and the driving plan data may be updated based on information given by the server 120 or may be updated based on information detected by the sensing device 260 of the vehicle 200 .
  • the control device 210 may generate Electronic Horizon Data.
  • the electronic horizon data may be understood as driving plan data within a range from a point where the vehicle 200 is located to a horizon.
  • the horizon may be understood as a point in front of a preset distance from a point where the vehicle 200 is located based on a preset driving route.
  • the horizon may mean a point to which the vehicle 200 can reach after a predetermined time from a point where the vehicle 200 is located along a preset driving route.
  • the electronic horizon data may include horizon map data and horizon pass data.
  • the horizon map data may include at least one of topology data, road data, HD map data, and dynamic data.
  • the horizon map data may include a plurality of layers.
  • the horizon map data may include a first layer matching topology data, a second layer matching road data, a third layer matching HD map data, and a fourth layer matching dynamic data.
  • the horizon map data may further include static object data.
  • Topology data can be described as a map created by connecting road centers.
  • the topology data is suitable for roughly indicating the location of the vehicle, and may be in the form of data mainly used in navigation for drivers.
  • the topology data may be understood as data on road information excluding information on lanes.
  • the topology data may be generated based on data received from an external server.
  • the topology data may be based on data stored in at least one memory provided in the vehicle 200 .
  • the road data may include at least one of slope data of the road, curvature data of the road, and speed limit data of the road.
  • the road data may further include data on an overtaking prohibited section.
  • the road data may be based on data received from an external server.
  • the road data may be based on data generated by the object detecting apparatus.
  • the HD map data includes detailed lane-by-lane topology information of the road, connection information of each lane, and characteristic information for vehicle localization (eg, traffic signs, Lane Marking/attributes, Road furniture, etc.).
  • vehicle localization eg, traffic signs, Lane Marking/attributes, Road furniture, etc.
  • the HD map data may be based on data received from an external server through the communication device 220 .
  • the dynamic data may include various dynamic information that may be generated on the road.
  • the dynamic data may include construction information, variable speed lane information, road surface condition information, traffic information, moving object information, and the like.
  • the dynamic data may be based on data received from an external server.
  • the dynamic data may be based on data generated by the object detecting apparatus.
  • the horizon pass data may be described as a trajectory that the vehicle 200 can take within a range from a point where the vehicle 200 is located to the horizon.
  • the horizon pass data may include data representing a relative probability of selecting any one road at a decision point (eg, a fork, a junction, an intersection, etc.).
  • the relative probability may be calculated based on the time it takes to arrive at the final destination. For example, at the decision point, if the time taken to arrive at the final destination is shorter when selecting the first road than when selecting the second road, the probability of selecting the first road is higher than the probability of selecting the second road. can be calculated higher.
  • the horizon pass data may include a main path and a sub path.
  • the main path may be understood as a track connecting roads with a high relative probability of being selected.
  • the sub-path may diverge at at least one decision point on the main path.
  • the sub-path may be understood as a trajectory connecting at least one road having a low relative probability of being selected from at least one decision point on the main path.
  • a map showing the driving route 310 may be displayed to the driver, and the driver may directly drive the vehicle.
  • the vehicle 200 may communicate with the server 120 through the first base station 110a at point A, and communicate with the server 210 through the second base station 110b at point B.
  • the number or arrangement of base stations or servers is merely an example.
  • One or more base stations may be disposed on the driving path 310 .
  • one or more servers may be deployed for each base station.
  • Signal quality with the base station on the driving path 310 may be changed for various reasons. For example, the distance between the vehicle and the base station, the number of vehicles on the road, the arrangement of buildings, etc. may cause various path loss and signal quality may change. When the signal quality drops to a certain level, the communication quality between the vehicle 200 and the server 120 may not be guaranteed or the communication connection may be cut off.
  • the signal strength may include at least one of Received Signal Strength Indicator (RSSI), Reference Signal Received Power (RSRP), Reference Signal Received Quality (RSRQ), and Signal to Interference Noise Ratio (SINR).
  • RSSI Received Signal Strength Indicator
  • RSRP Reference Signal Received Power
  • RSSQ Reference Signal Received Quality
  • SINR Signal to Interference Noise Ratio
  • first reference value TH1 and a second reference value TH2 are thresholds on the signal quality map, and the signal strength is represented by three levels of good, marginal, and poor. If the measured signal strength is greater than TH1, it is 'G (good)'. If the measured signal strength is between TH1 and TH2, it is 'M (middle)'. If the measured signal strength is less than TH2, it is 'P (bad)'. The number of levels is only an example.
  • the signal quality map may include information about a section on the driving route 310 and signal quality in each section.
  • the signal quality map may include information about the reference signal quality at a reference position (or reference interval).
  • the signal quality map may include information about one or more reference signal qualities.
  • the signal quality map may be generated integrally with the geographic map for driving information, or may be generated separately from the geographic map.
  • the reference position includes a position where the reference signal quality is measured.
  • the reference section includes a section in which the reference signal quality is measured.
  • the reference time includes a time at which the reference signal quality is measured.
  • the reference sensor includes information about the sensor from which the reference signal quality was measured.
  • the signal quality map may include information about at least one of a reference position, a reference interval, a reference time, and a reference sensor.
  • the signal quality may include one or more indicators indicating the quality of communication between the vehicle and the server.
  • the signal quality may include at least one of signal strength, latency, bandwidth, and GPS accuracy.
  • the delay time may represent a delay time in communication between the vehicle and the server (or the vehicle and the base station).
  • the bandwidth may indicate the maximum bandwidth (and/or minimum bandwidth) used in communication between the vehicle and the server (or the vehicle and the base station).
  • the operation of the vehicle may be implemented by a control device of the vehicle and/or a wireless modem.
  • the operation of the server may be implemented by a processor of the server.
  • step S510 the server sends the signal quality map to the vehicle through a wireless medium.
  • the server may send a signal quality map to the vehicle.
  • Vehicles can also communicate with servers based on signal quality maps, even in areas they have never driven before.
  • step S520 the vehicle communicates with the server through the wireless medium along the driving route of the vehicle based on the signal quality map. Then, the vehicle measures the signal quality along the driving path.
  • a position at which the signal quality is measured on the driving route is referred to as a measurement position
  • a time at which the signal quality is measured is referred to as a measurement time
  • a sensor at which the signal quality is measured is referred to as a measurement sensor.
  • the vehicle may measure the signal quality when the driving route has been driven before.
  • the vehicle may measure the signal quality when driving at least N times (N>1) along the driving path.
  • step S530 the vehicle updates the signal quality map based on the measured signal quality.
  • the vehicle may update the signal quality map based on the measured reliability of the signal quality.
  • the vehicle may update the signal quality map if the measured signal quality is different from the reference signal quality in the signal quality map.
  • the difference between the reference signal quality and the measured signal quality may mean that the difference between the reference signal quality and the measured signal quality is greater than a reference value.
  • the vehicle may update the signal quality map when a specific condition is satisfied.
  • the specific condition may include reliability of the measured signal quality.
  • the reliability of the measured signal quality may be determined based on a measurement position, a measurement time, and a measurement sensor. If the vehicle (i) the measurement position and the reference position are within a specific distance, (ii) the measurement time is later than the reference time, and (iii) the accuracy of the measurement sensor is higher than the accuracy of the reference sensor , the signal quality map may be updated. When at least one of the conditions (i) to (iii) is satisfied, the vehicle may update the signal quality map.
  • the accuracy of the sensor may be estimated based on a manufacturing year of the vehicle, a model number of the vehicle, a sensor type, and a sensor resolution.
  • the signal quality map may include information about a reference interval associated with a reference signal quality.
  • the vehicle may update the signal quality map when the measurement location belongs to the reference section.
  • the signal quality map can be updated to avoid too frequent updates.
  • the vehicle may transmit the updated signal quality map to the server via a wireless medium.
  • the server can communicate with other vehicles based on the updated signal quality map.
  • the server and vehicle can maintain more stable communication by obtaining section information with poor signal quality based on the signal quality map.
  • By updating the signal quality map based on highly reliable information it is possible to increase the accuracy of the signal quality.
  • By storing and updating the signal quality map directly by the vehicle operation is possible even if the connection with the server is lost.
  • the vehicle may predict, based on the signal quality map, how much quality or stability it can maintain communication with the server on the driving route.
  • the vehicle can exchange high-quality/large-capacity messages with the server.
  • the vehicle can exchange a reduced amount of messages with the server, or only essential messages.
  • FIG. 6 shows another example of generating a signal quality map.
  • a travel path 610 moving from point A to point B There are a plurality of reference locations designated by the server.
  • the vehicle receives from the server a signal quality map relating to a corresponding reference signal quality.
  • the vehicle may establish one or more auxiliary reference positions between the two reference positions.
  • the vehicle measures the signal quality at each auxiliary reference location and stores it as the auxiliary reference signal quality. Thereafter, when the vehicle travels on the driving path 610 again, signal quality is measured not only in the reference position but also in the auxiliary reference position. If the measured signal quality differs from the auxiliary signal quality, the signal quality map can be updated. It can be updated based on reliability.
  • the vehicle may identify more detailed signal quality on the driving path 610 through the added auxiliary reference position.
  • the vehicle will notify the server of the auxiliary reference location and the associated auxiliary reference signal. Information about quality can be notified.
  • the server may additionally set the notified auxiliary reference position as a new reference position or replace the existing reference position with the notified auxiliary reference position.
  • the video transmission vehicle 710 transmits the video it is shooting and/or the video it stores based on the signal quality map to the server 730 .
  • the server 730 transmits the received video to the video receiving vehicle 730 .
  • the video transmission vehicle 710 may record a status video indicating the condition of the front or surrounding parts while driving.
  • the video transmission vehicle 710 may record a video about vehicle traffic or obstacles on the road.
  • the video transmission vehicle 710 may record a status video in certain circumstances. For example, a status video may be recorded when an obstacle of a certain size or larger appears on the roadway, or when vehicle traffic suddenly increases.
  • the status video may further include information about a recording time and/or a recording location in addition to the surrounding image.
  • the video transmission vehicle 710 may transmit the status video to the server 720 based on the signal quality map.
  • the server 720 may transmit the received status video to the video receiving vehicle 730 .
  • the driver of the video receiving vehicle 730 or the autonomous video receiving vehicle 730 may know the surrounding road conditions in advance, and may take appropriate measures according to the situation.
  • the video transmitting vehicle 710 may transmit video directly to the video receiving vehicle 730 or a peripheral device.
  • FIG. 8 is a flowchart illustrating an operation of a video transmission vehicle according to an embodiment of the present invention. This operation may be performed by the vehicle's control device.
  • step S810 the vehicle may generate and update the above-described signal quality map while driving along the driving route.
  • the vehicle may generate and update the signal quality map according to the embodiment of FIGS. 5-6 .
  • the vehicle may record a video along the driving route.
  • the vehicle can monitor certain conditions and start recording video when certain conditions are met.
  • the specific condition may include at least one of the appearance of an obstacle, the occurrence of an emergency situation, a change in traffic, and a stop of operation. For example, if an obstacle in front of the vehicle is recognized, the vehicle may start recording a video. Recording of video can be stopped when the timer expires. Alternatively, the recording of the video may be stopped when the specific condition is released. When the recognized obstacle disappears or the distance between the vehicle and the obstacle increases within a certain range, video recording may be stopped.
  • the vehicle may adjust the bit rate of the video based on the signal quality map. If the signal quality is good, video with a high quality bit rate can be transmitted. If the signal quality is poor, video with a lower quality bit rate may be transmitted.
  • the bit rate indicates the quality of the video.
  • the bit rate may include at least one of a resolution, a frame rate, a bit depth, a color format, and an aspect ratio.
  • step S850 the vehicle transmits the bit rate-adjusted video through a wireless medium.
  • the vehicle can adjust the video quality based on the stored signal quality map without a separate command from the server.
  • the video can be transmitted seamlessly as the vehicle autonomously adjusts the video quality adaptively according to the signal quality.
  • the server may request the vehicle to lower the bit rate of the video before the vehicle enters an area with poor signal quality.
  • the server may request the vehicle to increase the bit rate of the video before the vehicle enters an area with good signal quality.
  • the vehicle Upon receiving the request from the server, the vehicle can adjust the video transmission bit rate.
  • the video may be subjected to scalable video coding.
  • Scalable encoding/decoding is to reduce overlapping transmission/processing of information and increase compression efficiency by performing prediction between layers using a difference between layers.
  • FIG. 9 is a block diagram illustrating an encoding module supporting scalability.
  • the encoding module 900 may be included in a vehicle control device.
  • the encoding module 900 may be implemented by one or more modules in the processor of the control device.
  • the encoding module 900 may be implemented as an independent processor in the control device.
  • the encoding module 900 includes an encoding unit 905 for layer 1 and an encoding unit 935 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoding unit 905 of the layer 1 includes a prediction unit 910, a transform/quantization unit 915, a filtering unit 920, a decoded picture buffer (DPB) 925, an entropy coding unit 930, and a multiplexer (MUX). 965).
  • the encoding unit 935 of the layer 0 includes a prediction unit 940 , a transform/quantization unit 945 , a filtering unit 950 , a DPB 955 , and an entropy coding unit 960 .
  • the prediction units 910 and 940 may perform inter prediction and intra prediction on the input video.
  • the prediction units 910 and 940 may perform prediction in a predetermined processing unit.
  • a prediction performing unit may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the prediction units 910 and 940 may determine whether to apply inter prediction or intra prediction in units of CUs, determine a mode of prediction in units of PUs, and perform prediction in units of PUs or TUs. Prediction performed includes generation of a prediction block and generation of a residual block.
  • a prediction block may be generated by performing prediction based on information on at least one of a picture before and/or a picture after the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in the current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predictor (MVP) mode method, and the like.
  • a reference picture may be selected with respect to a current PU, which is a prediction target, and a reference block corresponding to the current PU may be selected from within the reference picture.
  • the prediction units 910 and 940 may generate a prediction block based on the reference block.
  • the prediction block may be generated in units of integer samples or may be generated in units of pixels that are less than or equal to an integer.
  • the motion vector may be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planar mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes/shapes.
  • the PU in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, or an N ⁇ N block.
  • a PU in the case of intra prediction, a PU may be a 2N ⁇ 2N block or an N ⁇ N block.
  • N is an integer.
  • a PU of N ⁇ N block size may be set to be applied only in a specific case. For example, it may be determined to use a PU of an NxN block size only for a CU with a minimum size or to use only for intra prediction.
  • a PU such as an N ⁇ mN block, an mN ⁇ N block, a 2N ⁇ mN block, or an mN ⁇ 2N block (m ⁇ 1) may be further defined and used.
  • the prediction unit 910 may perform prediction on the layer 1 by using the information of the layer 0 .
  • a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
  • Information of the current layer predicted using information of another layer may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
  • information of another layer used for prediction of the current layer ie, used for inter-layer prediction
  • inter-layer motion prediction is also referred to as inter-layer inter prediction.
  • prediction of a current block of layer 1 may be performed using motion information of layer 0 (reference layer or base layer).
  • motion information of a reference layer may be scaled.
  • inter-layer texture prediction may also be called inter-layer intra prediction or intra base layer (BL) prediction.
  • Inter-layer texture prediction may be applied when a reference block in a reference layer is reconstructed by intra prediction.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • unit (CU, PU, and/or TU) information of a base layer is derived and used as unit information of an enhancement layer, or an enhancement layer based on unit information of a base layer unit information of .
  • the unit information may include information at each unit level. For example, in the case of CU information, information about a partition (CU, PU, and/or TU), information about transformation, information about prediction, and information about coding may be included. In the case of PU information, information about a PU partition, information about prediction (eg, motion information, information about a prediction mode, etc.) may be included.
  • the information on the TU may include information on the TU partition, information on transformation (transform coefficients, transformation method, etc.).
  • the unit information may include only division information of a processing unit (eg, CU, PU, TU, etc.).
  • inter-layer parameter prediction which is another example of inter-layer prediction
  • a parameter used in the base layer may be derived and reused in the enhancement layer, or a parameter of the enhancement layer may be predicted based on the parameter used in the base layer.
  • inter-layer texture prediction, inter-layer motion prediction, inter-layer unit information prediction, and inter-layer parameter prediction as examples of inter-layer prediction, inter-layer prediction that can be applied is not limited thereto.
  • the prediction unit 910 predicts the residual of the current layer by using residual information of another layer as inter-layer prediction, and inter-layer residual prediction that predicts the current block in the current layer based on this may be used.
  • inter-layer prediction the prediction unit 910 predicts the current block in the current layer by using a difference (difference image) image between up-sampling or down-sampling of the reconstructed picture of the current layer and the reconstructed picture of another layer. Inter-layer differential prediction may be performed.
  • the prediction unit 910 may use inter-layer syntax prediction for predicting or generating the texture of the current block by using syntax information of another layer.
  • the syntax information of the reference layer used for prediction of the current block may be information about an intra prediction mode, motion information, or the like.
  • Inter-layer syntax prediction may be performed by referring to the intra prediction mode from a block (intra) to which the intra prediction mode is applied in the reference layer, and motion information from a block (MV) to which the inter prediction mode is applied.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice may be a block to which the intra prediction mode is applied.
  • inter-layer prediction for generating/predicting a texture for the current block may be performed using the intra prediction mode of the reference block among syntax information of the reference layer.
  • a plurality of prediction methods using the above-described inter-layer may be used when predicting a specific block. For example, in order to predict the current block, while the prediction information of the layer 0 is used, unit information or filtering parameter information of the corresponding layer 0 or the corresponding block may be additionally used. This combination of inter-layer prediction methods can also be applied to prediction to be described below in this specification.
  • the transform/quantization units 915 and 945 may perform transform on a residual block in units of transform blocks to generate transform coefficients and quantize the transform coefficients.
  • a transform block is a block to which the same transform is applied as a rectangular block of samples.
  • the transform block may be a transform unit (TU) and may have a quad tree structure.
  • the transform/quantizers 915 and 945 may generate a two-dimensional array of transform coefficients by performing a transform according to the prediction mode applied to the residual block and the size of the block. For example, if intra prediction is applied to the residual block and the block is a 4x4 residual array, the residual block is transformed using DST (Discrete Sine Transform), and in other cases, the residual block is subjected to DCT (Discrete Cosine Transform) can be converted using DST (Discrete Sine Transform), and in other cases, the residual block is subjected to DCT (Discrete Cosine Transform) can be converted using DST (Discrete Sine Transform), and in other cases, the residual block is subjected to DCT (Discrete Cosine Transform) can be converted using DST (Discrete Sine Transform), and in other cases, the residual block is subjected to DCT (Discrete Cosine Transform) can be converted using DST (Discrete Sine Transform), and in other cases, the residual block is subjected to DCT (
  • the transform/quantization units 915 and 945 may generate quantized transform coefficients by quantizing the transform coefficients.
  • the transform/quantization units 915 and 945 may transmit the quantized transform coefficients to the entropy coding units 930 and 980 .
  • the transform/quantization unit 945 may rearrange the two-dimensional array of the quantized transform coefficients into a one-dimensional array according to a predetermined scan order, and transmit it to the entropy coding units 930 and 980 .
  • the transform/quantizers 915 and 945 may transmit the reconstructed block generated based on the residual and the prediction block to the filtering units 920 and 950 for inter prediction without transforming/quantizing the block.
  • the transform/quantization units 915 and 945 may skip transform and perform only quantization, or both transform and quantization, if necessary.
  • the transform/quantizers 915 and 965 may omit transform with respect to a block to which a specific prediction method is applied or a block having a specific size, or a block having a specific size to which a specific prediction block is applied.
  • the entropy coding units 930 and 960 may perform entropy encoding on the quantized transform coefficients.
  • an encoding method such as Exponential Golomb or Context-Adaptive Binary Arithmetic Coding (CABAC) may be used.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 920 and 950 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • An adaptive loop filter (ALF) may perform filtering based on a value obtained by comparing a reconstructed image with an original image after a block is filtered through a deblocking filter.
  • SAO restores the offset difference from the original image in units of pixels with respect to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset, an edge offset, and the like.
  • the filtering units 920 and 950 may apply only the deblocking filter without applying all of the deblocking filter, ALF, and SAO, apply only the deblocking filter and ALF, or apply only the deblocking filter and SAO.
  • the DPBs 925 and 955 may receive and store a reconstructed block or a reconstructed picture from the filtering units 920 and 950 .
  • the DPBs 925 and 955 may provide the reconstructed block or picture to the predictors 910 and 940 that perform inter prediction.
  • Information output from the entropy coding unit 960 of layer 0 and information output from the entropy coding unit 930 of layer 1 may be multiplexed by the MUX 965 and output as a bitstream.
  • the encoding unit 905 of the layer 1 includes the MUX 965 , but the MUX 965 is included in the encoding unit 905 of the layer 1 and the encoding unit 935 of the layer 0 It may be an independent module that does not work.
  • Scalable video coding supports multiple layers having different bit rates. Since a strong correlation exists between a plurality of layers, if prediction is performed using the correlation, duplicate elements of data may be removed and image encoding performance may be improved. Prediction of the current layer, which is the target of prediction, using information of another layer is referred to as inter-layer prediction.
  • the plurality of layers may have different at least one of resolution, frame rate, and color format, and layer upsampling or downsampling may be performed to adjust resolution during inter-layer prediction.
  • the control device of the vehicle may select one layer from among a plurality of layers according to the signal quality map, and transmit a video to which the selected layer is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량에 의해 기록되는 비디오를 전송하는 방법 및 장치가 제공된다. 상기 장치는 상기 차량의 주행 경로를 따라 신호 품질 맵을 업데이트하고, 상기 신호 품질 맵을 기반으로 상기 비디오의 비트 레이트를 조정한다.

Description

차량에 의해 기록되는 비디오를 전송하는 방법 및 장치
본 명세서는 차량을 위한 비디오 전송에 관한 것으로, 더욱 상세하게는 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치에 관한 것이다.
차량(vehicle)은 탑승자(passenger)를 한 장소에서 다른 장소로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 차량-사물 통신을 의미하는 V2X(vehicle-to-everything) 통신 기술은 차량이 다른 차량, 보행자, 도로 인프라, 서버 등과 통신하여 일련의 서비스를 제공하는 기술을 말한다.
V2X를 위해 IEEE(Institute of Electrical and Electronics Engineers), 3GPP(3rd Generation Partnership Project) 등과 같은 표준화 기구에서 다양한 통신 규격을 제공하고 있다. DSRC(Dedicated Short Range Communications)는 IEEE 802.11를 기반으로 한 통신 표준 프로토콜이다. 3GPP의 LTE(Long Term Evolution) 및 NR(New Radio)도 V2X를 위한 통신 프로토콜을 제공하고 있다.
V2X와 더불어 부분적으로 또는 완전히(fully) 자율적인(autonomous) 차량이 등장하고 있다. 이 자율주행차량(Autonomous Vehicle)은 주변 차량, 보행자, 서버 등과 보다 많은 데이터를 저지연(low latency)와 높은 신뢰성을 가지고 교환할 필요가 있다.
V2X를 위한 차량은 주변 기기들과 무선 매체를 통한 무선 통신을 기반으로 동작하고 있다. 최근에는 무선 통신의 품질이 좋아져, 비디오를 차량이 직접 주변 기기에게 전송하는 기법이 등장하고 있다. 무선 통신을 기반으로 한 차량이 주행할 때 주변 환경에 따라 신호 품질이 달라질 수 있고, 이는 비디오 전송의 신뢰성에 문제를 야기할 수 있다.
본 명세서는 차량에 의해 기록되는 비디오를 전송하는 방법 및 이를 이용한 제어 장치를 제공한다.
일 양태에서, 차량의 제어 장치에 의해 수행되어, 상기 차량에 의해 기록되는 비디오를 전송하는 방법이 제공된다. 상기 차량의 주행 경로를 따라 신호 품질 맵을 업데이트하고, 상기 신호 품질 맵을 기반으로 상기 비디오의 비트 레이트를 조정하고, 상기 조정된 비디오를 전송하는 것을 포함한다.
다른 양태에서, 차량을 위한 제어 장치는 프로세서 및 상기 프로세서에 연결되어, 상기 프로세서에 의해 실행될 때 상기 차량이 기능을 수행하도록 하는 명령어를 저장하는 메모리를 포함한다. 상기 기능은 상기 차량의 주행 경로를 따라 신호 품질 맵을 업데이트하고, 상기 차량의 주변을 관한 비디오를 기록하고, 상기 신호 품질 맵을 기반으로 상기 비디오의 비트 레이트를 조정하고, 상기 조정된 비디오를 전송하는 것을 포함한다.
신호 품질 맵을 기반으로 얻어지는 신호 품질에 따라 차량과 주변 기기 간에 안정적인 비디오 전송을 유지할 수 있다.
도 1은 실시예가 적용되는 시스템을 나타낸다.
도 2는 본 실시예를 구현하는 차량을 나타낸 블록도이다.
도 3은 차량이 운행중인 예를 보여준다.
도 4는 주행 경로 상에서 신호 품질이 변화되는 일 예를 보여준다.
도 5는 본 명세서의 일 실시예에 따른 맵 생성 방법을 나타낸다.
도 6은 신호 품질 맵을 생성하는 다른 예를 나타낸다.
도 7은 신호 품질 맵을 이용한 차량들간 비디오 전송을 보여준다.
도 8은 본 발명의 일 실시예에 따른 비디오 전송 차량의 동작을 나타낸 흐름도이다.
도 9는 스케일러빌러티를 지원하는 인코딩 모듈을 나타낸 블록도이다.
이하, 첨부된 도면을 참조하여 본 명세서(disclosure)에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부(unit)"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 설명에서 차량의 좌측은 차량의 전진 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 전진 주행 방향의 우측을 의미한다.
도 1은 실시예가 적용되는 시스템을 나타낸다.
시스템(100)은 차량(200), 기지국(110) 및 서버(120)를 포함한다. 차량(200)은 무선 통신 프로토콜을 사용하여 기지국(110) 및/또는 주변 차량(130)과 통신할 수 있다. 무선 통신 프로토콜에는 제한이 없으며, 예를 들어, IEEE(Institute of Electrical and Electronics Engineers) 802.11를 기반으로 한 DSRC(Dedicated Short Range Communications), WiFi, C-V2X 및/또는 3GPP(3rd Generation Partnership Project) 기반의 셀룰라 통신 프로토콜(예, WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), NR(New Radio) 등)를 포함할 수 있다.
기지국(110)은 DSRC, C-V2X, 셀룰라 통신 프로토콜 등 다양한 무선 통신 프로토콜을 사용하여 차량(200) 또는 다른 기지국과 통신할 수 있다.
서버(120)는 하나 또는 그 이상의 기지국(110)과 연결되어, 차량(200)에게 주행 데이터 서비스를 제공하는 컴퓨팅 하드웨어를 포함한다. 예를 들어, 상기 컴퓨팅 하드웨어는 프로세서와 메모리를 포함할 수 있다. 메모리는 이하의 실시예에서 기술되는 맵 데이터와 주행 환경 정보를 저장하고, 프로세서는 이 데이터를 차량(200)에게 제공할 수 있다. 프로세서는 하나 또는 그 이상의 차량(200)으로부터 수신된 데이터에 기초하여 맵 데이터를 업데이트할 수 있다. 서버는 MEC(Mobile/Mutli-access Edge Computing) 기반의 서버이거나 중앙 집중 기반의 서버일 수 있다.
본 발명의 실시예에 따른 차량(200)은, 도로나 선로 위를 주행하는 수송 수단으로 정의된다. 차량(200)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(200)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(200)은 개인이 소유한 차량일 수 있다. 차량(200)은, 공유형 차량일 수 있다. 차량(200)은 자율 주행 차량일 수 있다.
차량(200)은 자율적으로 동작할 수 있도록 설정될 수 있다. 자율 주행은 예를 들어, 휴먼 운전자의 도움없이 주행하는 것을 말한다. 자율 주행 모드에서 차량(200)은 주변 차량(130)을 검출하고 검출된 차량의 경로를 판단하도록 설정될 수 있다. 차량(200)은 주변 차량(130)과 통신하여 정보를 교환할 수 있다.
차량(200)는, 자율 주행 모드에서 수동 주행 모드로의 전환 동작 또는 수동 주행 모드에서 자율 주행 모드로의 전환 동작을 수행할 수 있다. 예를 들면, 차량(200)은 사용자 인터페이스 장치로부터 수신되는 신호에 기초하여, 차량(10)의 모드를 자율 주행 모드에서 수동 주행 모드로 전환하거나 수동 주행 모드에서 자율 주행 모드로 전환할 수 있다.
수동 운행 또는 자율 주행에 있어서 적어도 하나의 ADAS(Advanced Driver Assistance System) 기능이 지원될 수 있다. ADAS는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
도 2는 본 실시예를 구현하는 차량을 나타낸 블록도이다.
차량(200)은 제어 장치(control device, 210), 사용자 인터페이스 장치(220), 가속 장치(acceleration device, 230), 브레이크 장치(braking device, 240), 조향 장치(steering device, 250), 센싱 장치(sensing device, 260), 엔진(engine, 270)을 포함할 수 있다. 제시된 장치는 예시에 불과하며, 모든 장치가 필수적인 것은 아니다. 차량(200)은 추가적인 장치를 더 포함하거나, 특정 장치는 생략될 수 있다. 장치들 중 어떤 것은 자신의 프로세서를 가지고, 그 장치의 특정 기능에 관련된 처리를 수행할 수 있다.
사용자 인터페이스 장치(220)는, 차량(200)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(220)는, 사용자 입력을 수신하고, 사용자에게 차량(200)에서 생성된 정보를 제공할 수 있다. 차량(200)은, 사용자 인터페이스 장치(220)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다. 사용자 인터페이스 장치(220)는 입력 장치, 출력 장치 및 사용자 모니터링 장치를 포함할 수 있다.
가속 장치(230)는 차량(200)을 가속하도록 설정되는 메카니즘일 수 있다. 브레이크 장치(240)는 차량(200)을 감속하도록 설정되는 메카니즘일 수 있다. 조향 장치(250)는 차량(200)의 방향을 조정하도록 설정되는 메카니즘일 수 있다. 차량(200)은 가속 장치(230)를 통해 가속하고, 브레이크 장치(240)를 통해 감속하고, 조향 장치(250)를 통해 주행 방향을 변경할 수 있다. 차량(200)의 속도와 방향을 제어하기 위해 가속 장치(230), 브레이크 장치(240) 및 조향 장치(250) 중 적어도 어느 하나는 제어 장치(210) 및/또는 추가적인 제어기에 의해 제어될 수 있다.
센싱 장치(260)는 차량(200)의 위치/속도 및/또는 차량(200)의 환경에 관한 정보를 센스하도록 설정된 하나 또는 그 이상의 센서를 포함할 수 있다. 센싱 장치(260)는 차량(200)의 지리적 위치를 측정하는 위치 데이터 생성 장치 및/또는 차량(200) 주변의 오브젝트(object)를 인식하는 오브젝트 검출 장치를 포함할 수 있다.
오브젝트 검출 장치는, 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 오브젝트에 대한 정보는, 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량(200)과 오브젝트와의 거리 정보 및 차량(200)과 오브젝트와의 상대 속도 정보 중 적어도 어느 하나를 포함할 수 있다. 오브젝트 검출 장치는, 차량(200) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치는, 차량(200) 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치는 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량(200)에 포함된 적어도 하나의 제어 장치에 제공할 수 있다.
카메라는 영상을 이용하여 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 카메라는 적어도 하나의 렌즈, 적어도 하나의 이미지 센서 및 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.
카메라는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라는, 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있다. 카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
레이다는 전파를 이용하여 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 레이다는, 전자파 송신부, 전자파 수신부 및 전자파 송신부 및 전자파 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다. 레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는, 레이저 광을 이용하여, 차량(200) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는, 광 송신부, 광 수신부 및 광 송신부 및 광 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다. 라이다는, 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(200) 주변의 오브젝트를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(200)은 복수의 비구동식 라이다를 포함할 수 있다. 라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
위치 데이터 생성 장치는, 차량(200)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치는 GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(200)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치는, 센싱 장치(260)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다. 위치 데이터 생성 장치는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.
센싱 장치(260)는 차량(200)의 상태를 센스하도록 설정된 상태 센서를 포함할 수 있다. 상태 센서는 IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial measurement unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱 장치(260)는 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 차량 상태 데이터는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다. 센싱 장치(260)는, 차량 자세 데이터, 차량 모션 데이터, 차량 요(yaw) 데이터, 차량 롤(roll) 데이터, 차량 피치(pitch) 데이터, 차량 충돌 데이터, 차량 방향 데이터, 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 차량의 중량 데이터, 배터리 데이터, 연료 데이터, 타이어 공기압 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터, 스티어링 휠 회전 각도 데이터, 차량 외부 조도 데이터, 가속 페달에 가해지는 압력 데이터, 브레이크 페달에 가해지는 압력 데이터 등을 생성할 수 있다.
엔진(270)은 차량(200)에게 추진력(propulsion)을 제공한다. 엔진(270)은 내연기관(internal combustion engine), 전기 모터 또는 이들의 조합을 포함할 수 있다.
제어 장치(210)는 사용자 인터페이스 장치(220), 가속 장치(230), 브레이크 장치(240), 조향 장치(250) 및 센싱 장치(260)과 통신하여 다양한 정보를 교환하거나, 이 장치들을 제어할 수 있다.
제어 장치(210)는 프로세서(211)와 메모리(212)를 포함할 수 있다. 제어 장치(210)는 기능에 따라 하나 또는 그 이상의 서브-장치를 포함할 수 있으며, 각 서브-장치는 프로세서와 메모리 중 적어도 하나를 포함하고, 해당 서브-장치의 기능에 관련된 처리를 수행하도록 할 수 있다. 예를 들어, 제어 장치(210)는 차량(200) 내부 및 외부의 통신을 담당하는 TCU(telematics control unit)을 포함할 수 있다.
제어 장치(210)는 자율 주행을 담당하는 자율 주행 장치를 포함할 수 있다. 제어 장치(210)의 승객에게 주행 정보를 표시하거나 다양한 엔터테인먼트를 제공하는 인포테인먼트 시스템 또는 AVN(Audio Video Navigation) 시스템을 포함할 수 있다. 이하의 실시예에 따라, 제어 장치(210)는 TCU 또는 인포테인먼트 시스템을 포함할 수 있다. 또는, 제어 장치(210)는 TCU 및 인포테인먼트 시스템의 조합 또는 다른 기능의 조합을 포함할 수도 있다.
자율 주행을 위한 제어 장치(210)는, 획득된 데이터에 기초하여, 자율 주행을 위한 패스를 생성할 수 있다. 제어 장치(210)는, 생성된 경로를 따라 주행하기 위한 드라이빙 플랜을 생성 할 수 있다. 제어 장치(210)는, 드라이빙 플랜에 따른 차량의 움직임을 제어하기 위한 신호를 생성할 수 있다. 자율 주행 장치(210)는, 생성된 신호를 가속장치(230), 브레이크 장치(240), 조향 장치(250) 및 엔진(270)에 제공할 수 있다.
프로세서(211)는 ASIC(application-specific integrated circuit), CPU(central processing unit), AP(application processor), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 마이크로 제어기, 칩셋, 논리 회로, 데이터 처리 장치 및/또는 이들의 조합을 포함할 수 있다. 이하의 실시예에 대한 소프트웨어 구현에 있어서, 여기서 기술된 기능을 수행하는 소프트웨어 코드는 메모리(212)에 저장되고, 프로세서(211)에 의해 처리될 수 있다.
메모리(212)는 프로세서(211)에 의해 액세스가능한 정보를 저장할 수 있다. 상기 정보는 프로세서(211)에 의해 실행가능한 명령어(instructions) 및/또는 프로세서에 의해 처리되는 데이터를 포함할 수 있다. 메모리(212)는 정보를 저장하도록 동작하는 어떤 형태의 컴퓨터 읽기 가능한 매체(computer-readable medium)를 포함할 수 있다. 예를 들어, 메모리(212)는 ROM(read only memory), RAM(random access memory), DVD(digital video disc), 옵티칼 디스크(optical disc), 플래쉬 메모리, SSD(Solid State Drive), 하드 드라이브(hard drive) 및 이들의 조합을 포함할 수 있다.
제어 장치(210)가 하나의 물리적 블록으로 프로세서와 메모리를 포함하는 것으로 나타내지만, 제어 장치(210)는 다수 프로세서와 다수 메모리를 포함할 수 있고, 물리적 또는 논리적으로 동작가능하게 연결될 수 있다.
제어 장치(210)는 정보를 표시하기 위한 디스플레이 장치(280)와 연결될 수 있다. 디스플레이 장치(280)는 LCD(liquid crystal display) 터치 스크린 또는 OLED(Organic Light Emitting Diode) 터치 스크린을 포함하고, 승차자의 상태나 제스처를 검출하기 위한 다양한 센서(비디오 카메라, 마이크(microphone) 등)를 포함할 수 있다.
제어 장치(210)는 무선 매체(wireless medium)을 통해 다른 기기와의 통신하도록 설정되는 무선 모뎀(290)과 연결될 수 있다. 제어 장치(210)는 무선 모뎀(290)을 통해 차량(200) 내부/외부 모바일 기기 또는 서버(도 1의 120) 또는 주변 차량과 무선 신호를 교환할 수 있다. 무선 모뎀(290)에 의해 지원되는 무선 통신 프로토콜에는 제한이 없으며, 무선 모뎀(290)은 셀룰라 통신, WiFi, Bluetooth, Zigbee, 적외선 링크 등 다양한 무선 통신 프로토콜을 지원할 수 있다.
제어 장치(210)의 메모리(212)는 맵 정보 및/또는 드라이빙 플랜 데이터(driving plan data)를 가질 수 있다. 드라이빙 플랜 데이터는 차량(200)이 현재 위치부터 목적지까지의 차량의 위치를 트랙킹하기 위한 차량 경로(trajectory)에 관한 정보를 포함할 수 있다. 드라이빙 플랜 데이터는 운전자에게 경로를 안내하거나, 자율 주행을 위해 사용될 수 있다. 맵 정보는 주행 환경을 정의하기 위한 다양한 맵을 포함할 수 있다. 맵 정보는 도로(roadway)의 모양과 고도(elevation), 차선(lane line), 교차로(intersection), 횡단보도(crosswalk), 속도 제한(speed limit), 교통신호(traffic signal), 빌딩 또는 다른 물체나 정보를 포함할 수 있다. 맵 정보는 실시간 트래픽 정보, 도로 상 장애물(obstruction), 도로 상태 정보 등을 더 포함할 수 있다. 맵 정보와 드라이빙 플랜 데이터는 서버(120)에 의해 주어진 정보를 기반으로 업데이트되거나, 차량(200)의 센싱 장치(260)에 의해 검출된 정보를 기반으로 업데이트될 수 있다.
제어 장치(210)는 일렉트로닉 호라이즌 데이터(Electronic Horizon Data)를 생성할 수 있다. 일렉트로닉 호라이즌 데이터는, 차량(200)이 위치한 지점에서부터 호라이즌(horizon)까지 범위 내에서의 드라이빙 플랜 데이터로 이해될 수 있다. 호라이즌은, 기 설정된 주행 경로를 기준으로, 차량(200)이 위치한 지점에서 기설정된 거리 앞의 지점으로 이해될 수 있다. 호라이즌은, 기 설정된 주행 경로를 따라 차량(200)이 위치한 지점에서부터 차량(200)이 소정 시간 이후에 도달할 수 있는 지점을 의미할 수 있다.
일렉트로닉 호라이즌 데이터는, 호라이즌 맵 데이터 및 호라이즌 패스 데이터를 포함할 수 있다.
호라이즌 맵 데이터는, 토폴로지 데이터(topology data), 도로 데이터, HD 맵 데이터 및 다이나믹 데이터(dynamic data) 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 호라이즌 맵 데이터는, 복수의 레이어를 포함할 수 있다. 예를 들면, 호라이즌 맵 데이터는, 토폴로지 데이터에 매칭되는 1 레이어, 도로 데이터에 매칭되는 제2 레이어, HD 맵 데이터에 매칭되는 제3 레이어 및 다이나믹 데이터에 매칭되는 제4 레이어를 포함할 수 있다. 호라이즌 맵 데이터는, 스태이틱 오브젝트(static object) 데이터를 더 포함할 수 있다.
토폴로지 데이터는, 도로 중심을 연결해 만든 지도로 설명될 수 있다. 토폴로지 데이터는, 차량의 위치를 대략적으로 표시하기에 알맞으며, 주로 운전자를 위한 내비게이션에서 사용하는 데이터의 형태일 수 있다. 토폴로지 데이터는, 차로에 대한 정보가 제외된 도로 정보에 대한 데이터로 이해될 수 있다. 토폴로지 데이터는 외부 서버로부터 수신된 데이터에 기초하여 생성될 수 있다. 토폴로지 데이터는, 차량(200)에 구비된 적어도 하나의 메모리에 저장된 데이터에 기초할 수 있다.
도로 데이터는, 도로의 경사 데이터, 도로의 곡률 데이터, 도로의 제한 속도 데이터 중 적어도 어느 하나를 포함할 수 있다. 도로 데이터는, 추월 금지 구간 데이터를 더 포함할 수 있다. 도로 데이터는 외부 서버로부터 수신된 데이터에 기초할 수 있다. 도로 데이터는, 오브젝트 검출 장치에서 생성된 데이터에 기초할 수 있다.
HD 맵 데이터는, 도로의 상세한 차선 단위의 토폴로지 정보, 각 차선의 연결 정보, 차량의 로컬라이제이션(localization)을 위한 특징 정보(예를 들면, 교통 표지판, Lane Marking/속성, Road furniture 등)를 포함할 수 있다. HD 맵 데이터는, 통신 장치(220)를 통해, 외부 서버에서 수신된 데이터에 기초할 수 있다.
다이나믹 데이터는, 도로상에서 발생될 수 있는 다양한 동적 정보를 포함할 수 있다. 예를 들면, 다이나믹 데이터는, 공사 정보, 가변 속도 차로 정보, 노면 상태 정보, 트래픽 정보, 무빙 오브젝트 정보 등을 포함할 수 있다. 다이나믹 데이터는 외부 서버로부터 수신된 데이터에 기초할 수 있다. 다이나믹 데이터는, 오브젝트 검출 장치에서 생성된 데이터에 기초할 수 있다.
호라이즌 패스 데이터는, 차량(200)이 위치한 지점에서부터 호라이즌까지의 범위 내에서 차량(200)이 취할 수 있는 궤도로 설명될 수 있다. 호라이즌 패스 데이터는, 디시전 포인트(decision point)(예를 들면, 갈림길, 분기점, 교차로 등)에서 어느 하나의 도로를 선택할 상대 확률을 나타내는 데이터를 포함할 수 있다. 상대 확률은, 최종 목적지까지 도착하는데 걸리는 시간에 기초하여 계산될 수 있다. 예를 들면, 디시전 포인트에서, 제1 도로를 선택하는 경우 제2 도로를 선택하는 경우보다 최종 목적지에 도착하는데 걸리는 시간이 더 작은 경우, 제1 도로를 선택할 확률은 제2 도로를 선택할 확률보다 더 높게 계산될 수 있다.
호라이즌 패스 데이터는, 메인 패스와 서브 패스를 포함할 수 있다. 메인 패스는, 선택될 상대적 확률이 높은 도로들을 연결한 궤도로 이해될 수 있다. 서브 패스는, 메인 패스 상의 적어도 하나의 디시전 포인트에서 분기될 수 있다. 서브 패스는, 메인 패스 상의 적어도 하나의 디시전 포인트에서 선택될 상대적 확률이 낮은 적어도 어느 하나의 도로를 연결한 궤도로 이해될 수 있다.
차량이 자율적으로 또는 비자율적으로 운행될 때, 무선 통신 네트워크를 통해 서버 또는 사용자 기기와 높은 신뢰성으로 통신하는 것이 필요하다. 하지만, 차량은 다양한 환경에서 주행되므로 통신 신뢰성이 보장되기 어려울 수 있다.
도 3은 차량이 운행중인 예를 보여준다.
차량(200)이 A 지점에서 B 지점까지의 주행경로(driving path)(310)를 따라 운행된다고 하자. 이는 차량(200)이 자율적으로 운행될 수 있다. 또는, 운전자에게 상기 주행경로(310)가 나타난 맵을 표시하고, 운전자가 직접 운행할 수도 있다.
차량(200)은 A 지점에서는 제1 기지국(110a)을 통해 서버(120)와 통신하고, B 지점에서는 제2 기지국(110b)를 통해 서버(210)와 통신할 수 있다. 기지국 또는 서버의 갯수나 배치는 예시에 불과하다. 주행경로(310) 상에는 하나 또는 그 이상의 기지국이 배치될 수 있다. 또한, 각 기지국마다 하나 또는 그 이상의 서버가 배치될 수 있다.
주행경로(310) 상에서 기지국과의 신호 품질은 다양한 이유로 변화될 수 있다. 예를 들어, 차량과 기지국간 거리, 도로내 차량 수, 건물 배치 등은 다양한 경로 손실(path loss)을 야기할 수 있고, 신호 품질이 변화될 수 있다. 신호 품질이 일정 수준으로 떨어지면, 차량(200)과 서버(120) 간의 통신 품질이 보장되지 않거나, 통신 연결이 끊어질 수도 있다.
도 4는 주행 경로 상에서 신호 품질이 변화되는 일 예를 보여준다.
신호 품질의 예로 신호 세기(signal strength)가 있다. 신호 세기는 RSSI(Received Signal Strength Indicator), RSRP(Reference Signal Received Power), RSRQ(Reference Signal Received Quality) 및 SINR(Signal to Interference Noise Ratio) 중 적어도 어느 하나를 포함할 수 있다.
신호 품질 맵 상에서 기준값(threshold)으로 제1 기준값(TH1)과 제2 기준값(TH2)이 있고, 신호 세기를 좋음(Good), 중간(Marginal), 나쁨(Poor)의 3 레벨로 나타낸다고 하자. 측정된 신호 세기가 TH1 보다 크면, 'G(좋음)'이다. 측정된 신호 세기가 TH1과 TH2 사이이면, 'M(중간)'이다. 측정된 신호 세기가 TH2 보다 작으면, 'P(나쁨)'이다. 레벨의 수는 예시에 불과하다.
도 4의 예를 참고하면, 차량이 A 지점에서 B 지점까지의 주행경로(310)를 따라 주행할 때, 신호 품질이 G -> M -> P -> M -> G 의 순으로 변화되는 예를 보여준다. 신호 품질 맵은 주행경로(310) 상의 구간 및 각 구간에서의 신호 품질에 관한 정보를 포함할 수 있다.
신호 세기가 나쁜 구간에서는 서버와 차량 간 통신 품질이 나빠져 정보 교환이 어려울 수 있다. 차량들에서의 통신이 빈번하지 않을 때는 주변 건물 등 주로 고정된 특징에 의해 통신 품질이 결정됨으로써, 통신 품질의 변화가 크지 않다. 하지만, 차량들에서의 통신이 빈번해짐에 따라 차량들간의 간섭 등 변화되는 특징에 의해 통신 품질도 변함으로써 실시간으로 서버와 차량 간 통신 품질을 측정할 필요가 있다. 따라서, 신호 품질에 관한 정보를 실시간으로 업데이트할 필요가 있다.
신호 품질 맵은 기준 위치(reference position)(또는 기준 구간)에서의 기준 신호 품질에 관한 정보를 포함할 수 있다. 신호 품질 맵은 하나 또는 그 이상의 기준 신호 품질에 관한 정보를 포함할 수 있다. 신호 품질 맵은 주행 정보에 관한 지리적 맵과 일체로 생성될 수도 있고, 지리적 맵과 별도로 생성될 수도 있다. 기준 위치는 기준 신호 품질이 측정된 위치를 포함한다. 기준 구간은 기준 신호 품질이 측정된 구간을 포함한다. 기준 시간은 기준 신호 품질이 측정된 시간을 포함한다. 기준 센서는 기준 신호 품질이 측정된 센서에 관한 정보를 포함한다. 신호 품질 맵은 기준 위치, 기준 구간, 기준 시간 및 기준 센서 중 적어도 어느 하나에 관한 정보를 포함할 수 있다.
신호 품질은 차량과 서버간 통신 품질을 나타내는 하나 또는 그 이상의 지표를 포함할 수 있다. 신호 품질은 신호 세기, 지연시간, 대역폭 및 GPS 정확도 중 적어도 어느 하나를 포함할 수 있다. 지연시간은 차량과 서버(또는 차량과 기지국) 간 통신에서의 지연 시간을 나타낼 수 있다. 대역폭은 차량과 서버(또는 차량과 기지국) 간 통신에서 사용되는 최대 대역폭(및/또는 최소 대역폭)을 나타낼 수 있다.
도 5는 본 명세서의 일 실시예에 따른 맵 생성 방법을 나타낸다. 차량의 동작은 차량의 제어장치 및/또는 무선모뎀에 의해 구현될 수 있다. 서버의 동작은 서버의 프로세서에 의해 구현될 수 있다.
단계 S510에서, 서버는 신호 품질 맵을 무선 매체(wireless medium)를 통해 차량에게 보낸다. 서버는 자신이 관리하는 영역에 차량이 진입하면, 신호 품질 맵을 차량에게 보낼 수 있다. 차량은 이전에 운행해보지 못한 지역에서도 신호 품질 맵을 기반으로 서버와 통신할 수 있다.
단계 S520에서, 차량은 상기 신호 품질 맵을 기반으로 차량의 주행 경로를 따라 상기 서버와 상기 무선 매체를 통해 통신한다. 그리고, 차량은 상기 주행 경로를 따라 신호 품질을 측정한다. 상기 주행 경로 상에서 상기 신호 품질이 측정된 위치를 측정 위치라 하고, 상기 신호 품질이 측정된 시간을 측정 시간이라 하고, 상기 신호 품질이 측정된 센서를 측정 센서라 한다.
차량은 상기 주행 경로가 이전에 주행한 적이 있을 때, 신호 품질을 측정할 수 있다. 차량은 상기 주행 경로를 따라 적어도 N 회 (N>1) 주행할 때 상기 신호 품질을 측정할 수 있다. 차량은 상기 주행 경로를 따라 M (M>=1) 번째 주행마다 상기 신호 품질을 측정할 수 있다.
단계 S530에서, 차량은 상기 측정된 신호 품질를 기반으로 상기 신호 품질 맵을 업데이트한다. 차량은 상기 측정된 신호 품질의 신뢰도를 기반으로 상기 신호 품질 맵을 업데이트할 수 있다. 차량은 신호 품질 맵 내의 기준 신호 품질과 상기 측정된 신호 품질이 다르면 상기 신호 품질 맵을 업데이트할 수 있다. 기준 신호 품질과 상기 측정된 신호 품질이 다르다는 것은 기준 신호 품질 및 상기 측정된 신호 품질과의 차이가 기준값 보다 큰 것을 의미할 수 있다.
차량은 신호 품질 맵 내의 기준 신호 품질과 상기 측정된 신호 품질이 다르더라도 특정 조건을 만족하면 상기 신호 품질 맵을 업데이트할 수 있다. 상기 특정 조건은 상기 측정된 신호 품질의 신뢰도를 포함할 수 있다. 상기 측정된 신호 품질의 신뢰도는 측정 위치, 측정 시간 및 측정 센서를 기반으로 결정될 수 있다. 차량은 (i) 상기 측정 위치와 상기 기준 위치가 특정 거리 이내이고, (ii) 상기 기준 시간 보다 상기 측정 시간이 특정 시간 이후이고, (iii) 상기 측정 센서의 정확도가 상기 기준 센서의 정확도보다 높으면, 상기 신호 품질 맵을 업데이트할 수 있다. 상기 조건 (i) 내지 (iii) 중 적어도 어느 하나가 만족되면, 상기 차량은 상기 신호 품질 맵을 업데이트할 수 있다.
상기 센서의 정확도는 차량의 제조 연도, 차량의 모델 번호, 센서 타입, 센서 해상도 등을 기반으로 추정될 수 있다.
상기 신호 품질 맵은 기준 신호 품질과 연관된 기준 구간에 관한 정보를 포함할 수 있다. 상기 차량은 측정 위치가 상기 기준 구간에 속하면, 상기 신호 품질 맵을 업데이트할 수 있다.
신뢰도가 높을 경우 신호 품질 맵을 업데이트하여 너무 빈번한 업데이트를 방지할 수 있다.
단계 S540에서, 차량은 업데이트된 신호 품질 맵을 서버로 무선 매체를 통해 전송할 수 있다. 서버는 업데이트된 신호 품질 맵을 기반으로 다른 차량과 통신할 수 있다.
신호 품질 맵을 기반으로 신호 품질이 나쁜 구간 정보를 얻음으로써 서버와 차량이 보다 안정적인 통신을 유지할 수 있다. 신뢰도가 높은 정보를 기반으로 신호 품질 맵을 업데이트하여, 신호 품질의 정확도를 높일 수 있다. 차량이 직접 신호 품질 맵을 저장하고 업데이트함으로써, 서버와 연결이 끊기더라도 동작이 가능하다.
자율 주행 또는 비자율 주행에 있어서, 차량은 신호 품질 맵을 기반으로 주행 경로 상에서 서버와 어느 정도의 품질이나 안정성을 유지하면서 통신을 유지할 수 있는지 예측할 수 있다. 신호 품질이 좋은 지역에 진입하면, 차량은 서버와 고품질/대용량의 메시지를 교환할 수 있다. 신호 품질이 나쁜 지역에 진입하면, 차량은 서버와 감소된 양의 메시지를 교환하거나, 필수적인 메시지 만을 교환할 수 있다.
도 6은 신호 품질 맵을 생성하는 다른 예를 나타낸다.
집에서 직장으로 이동하거나 직장에서 집으로 이동하는 경우와 같이 차량이 빈번하게 운행하는 주행 경로의 경우 보다 자세한 신호 품질 맵을 작성할 수 있다.
A 지점에서 B 지점으로 이동하는 주행 경로(610)를 고려하자. 서버에 의해 지정된 복수의 기준 위치가 있다. 차량은 대응하는 기준 신호 품질에 관한 신호 품질 맵을 서버로부터 수신한다.
차량은 2개의 기준 위치 사이에 하나 또는 그 이상의 보조 기준 위치를 설정할 수 있다. 차량은 각 보조 기준 위치에서 신호 품질을 측정하고, 이를 보조 기준 신호 품질로써 저장한다. 이후 차량이 다시 주행 경로(610) 상으로 주행하면 기준 위치 뿐만 아니라 보조 기준 위치에서도 신호 품질을 측정한다. 측정된 신호 품질이 보조 신호 품질과 달리지면 신호 품질 맵을 업데이트 할 수 있다. 신뢰도를 기반으로 업데이트될 수 있다.
보조 기준 위치를 설정하는 방법이나 갯수에 대해서는 제한이 없다. 차량은 추가되는 보조 기준 위치를 통해 주행 경로(610) 상에서 보다 자세한 신호 품질을 파악할 수 있다.
차량은 보조 기준 위치에서의 신호 품질이 인접하는 기준 위치에서의 신호 품질과 2 레벨 보다 크게 차이가 나거나, 보조 기준 위치에서의 신호 품질이 빈번하게 업데이트되면 서버에게 해당 보조 기준 위치 및 연관된 보조 기준 신호 품질에 관한 정보를 통지할 수 있다. 서버는 통지된 보조 기준 위치를 새로운 기준 위치로 추가로 설정하거나, 기존 기준 위치를 통지된 보조 기준 위치로 교체할 수 있다.
도 7은 신호 품질 맵을 이용한 차량들간 비디오 전송을 보여준다.
비디오 전송 차량(710)은 신호 품질 맵을 기반으로 자신이 촬영하고 있는 비디오 및/또는 자신이 저장하고 있는 비디오를 서버(730)로 전송한다. 서버(730)는 수신한 비디오를 비디오 수신 차량(730)에게 전송한다.
비디오 전송 차량(710)은 주행시 전면이나 주변부의 상태를 나타내는 상태 비디오를 기록할 수 있다. 예를 들어, 비디오 전송 차량(710)은 차량 트래픽이나 도로상의 장애물에 관한 비디오를 기록할(record) 수 있다.
비디오 전송 차량(710)은 특정 상황에서 상태 비디오를 기록할 수 있다. 예를 들어, 일정 크기 이상의 장애물이 도로에 나타나거나, 차량 트래픽이 갑자기 증가하면 상태 비디오가 기록될 수 있다. 상태 비디오는 주변 영상 외에 기록 시간 및/또는 기록 장소에 관한 정보를 더 포함할 수 있다. 상태 비디오가 기록될 때, 비디오 전송 차량(710)은 신호 품질 맵을 기반으로 상태 비디오를 서버(720)로 전송할 수 있다.
서버(720)는 수신한 상태 비디오를 비디오 수신 차량(730)에 전송할 수 있다. 비디오 수신 차량(730)의 운전자 또는 자율적인 비디오 수신 차량(730)은 주변 도로 상황을 미리 파악할 수 있고, 상황에 따라 적절한 조치를 취할 수 있다.
비디오 전송 차량(710)은 비디오 수신 차량(730) 또는 주변 기기에게 직접 비디오를 전송할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 비디오 전송 차량의 동작을 나타낸 흐름도이다. 이 동작은 차량의 제어 장치에 의해 수행될 수 있다.
단계 S810에서, 차량은 주행 경로를 따라 주행하면서 전술한 신호 품질 맵을 생성하고 업데이트할 수 있다. 차량은 도 5 내지 도 6의 실시예에 따라 신호 품질 맵을 생성하고 업데이트할 수 있다.
단계 S820에서, 차량은 상기 주행 경로를 따라 비디오를 기록할 수 있다. 차량은 특정 조건을 모니터링하여, 특정 조건을 만족하면 비디오의 기록을 시작할 수 있다. 상기 특정 조건은 장애물의 등장, 긴급 상황 발생, 트래픽 변화 및 운행 중단 중 적어도 어느 하나를 포함할 수 있다. 예를 들어, 차량의 전방에 장애물이 인식되면, 차량은 비디오의 기록을 시작할 수 있다. 비디오의 기록은 타이머가 만료되면 중단할 수 있다. 또는, 비디오의 기록은 상기 특정 조건이 해제되면 중단될 수 있다. 상기 인식된 장애물이 사라지거나, 상기 차량과 상기 장애물과의 거리가 일정 범위로 멀어지면 비디오의 기록을 중단할 수 있다.
단계 S840에서, 비디오의 기록이 시작되면, 차량은 신호 품질 맵을 기반으로 비디오의 비트 레이트를 조정할 수 있다. 신호 품질이 좋으면, 높은 품질의 비트 레이트를 갖는 비디오가 전송될 수 있다. 신호 품질이 나쁘면, 낮은 품질의 비트 레이트를 갖는 비디오가 전송될 수 있다. 비트 레이트는 비디오의 품질을 나타낸다. 비트 레이트는 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit depth), 컬러 포맷(color format) 및 애스펙스 율(aspect ratio) 중 적어도 어느 하나를 포함할 수 있다.
단계 S850에서, 상기 차량은 비트 레이트가 조정된 비디오를 무선 매체를 통해 전송한다.
차량은 서버로부터의 별도의 명령없이 저장된 신호 품질 맵을 기반으로 비디오의 품질을 조정할 수 있다. 신호 품질에 따라 차량이 자율적으로 비디오의 품질을 적응적으로 조절함으로써 비디오가 끊김없이 전송될 수 있다.
서버는 차량이 신호 품질이 나쁜 지역으로 진입하기 전 비디오의 비트 레이트를 낮추도록 차량에게 요청할 수 있다. 서버는 차량이 신호 품질이 좋은 지역으로 진입하기전 비디오의 비트 레이트를 높이도록 차량에게 요청할 수 있다. 서버로부터 상기 요청을 수신한 차량은 비디오 전송을 비트 레이트를 조정할 수 있디.
비디오의 비트 레이트를 조정하기 위해, 상기 비디오는 스케일러블 비디오 코딩(scalable video coding)이 적용될 수 있다. 스케일러블 인코딩/디코딩은 레이어 간의 차이를 이용하여 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높이는 것이다.
도 9는 스케일러빌러티를 지원하는 인코딩 모듈을 나타낸 블록도이다.
인코딩 모듈(900)은 차량의 제어 장치에 포함될 수 있다. 인코딩 모듈(900)은 제어 장치의 프로세서 내 하나 또는 그 이상의 모듈에 의해 구현될 수 있다. 인코딩 모듈(900)은 제어 장치 내의 독립적인 프로세서로써 구현될 수 있다.
인코딩 모듈(900)은 레이어 1에 대한 인코딩부(905)와 레이어 0에 대한 인코딩부(935)를 포함한다. 레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(905)는 예측부(910), 변환/양자화부(915), 필터링부(920), DPB(Decoded Picture Buffer, 925), 엔트로피 코딩부(930), 및 MUX(Multiplexer, 965)를 포함한다. 레이어 0의 인코딩부(935)는 예측부(940), 변환/양자화부(945), 필터링부(950), DPB(955) 및 엔트로피 코딩부(960)를 포함한다.
예측부(910, 940)는 입력된 비디오에 대하여 인터 예측(inter prediction)과 인트라 예측(intra prediction)을 수행할 수 있다. 예측부(910, 940)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다. 예측부(910, 940)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(residual block)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predictor) 모드 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 예측부(910, 940)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다. 예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 움직임 벡터는 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다. 인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 모듈에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 두 개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 등일 수 있다. N은 정수이다. N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m＜1) 등의 PU를 더 정의하여 사용할 수도 있다.
예측부(910)는 레이어 0의 정보를 이용하여 레이어 1에 대한 예측을 수행할 수 있다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다. 다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다. 또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다. 인터 레이어 예측의 일 예로서, 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다. 인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스쳐 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 명명될 수도 있다. 인터 레이어 텍스처 예측은 참조 레이어 내 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 예측의 다른 예인 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다. 또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.
인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다. 본 명세서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 적용될 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예측부(910)는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다. 예측부(910)는 인터 레이어 예측으로서 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 (차분 영상) 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측을 수행할 수도 있다. 예측부(910)는 인터 레이어 예측으로, 다른 레이어의 신택스 정보를 이용하여 현재 블록의 텍스처를 예측하거나 생성하는 인터 레이어 신택스 예측을 이용할 수도 있다. 이때, 현재 블록의 예측에 이용하는 참조 레이어의 신택스 정보는 인트라 예측 모드에 관한 정보, 움직임 정보 등일 수 있다.
참조 레이어에서 인트라 예측 모드가 적용된 블록(intra)으로부터는 인트라 예측 모드를 참조하고, 인터 예측 모드가 적용된 블록(MV)으로부터는 움직임 정보를 참조하여 인터 레이어 신택스 예측을 수행할 수 있다. 예를 들면, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록일 수 있다. 이런 경우 인터 레이어 신택스 예측을 적용하면, 참조 레이어의 신택스 정보 중 참조 블록의 인트라 예측 모드를 이용하여 현재 블록에 대한 텍스처를 생성/ 예측하는 인터 레이어 예측을 수행할 수 있다.
상술된 인터 레이어를 이용한 여러 예측 방법은 특정 블록에 대한 예측 시 복수개가 이용될 수도 있다. 예를 들어 현재 블록을 예측하기 위하여 레이어 0의 예측 정보를 이용하면서, 대응되는 레이어 0 또는 대응 블록의 유닛 정보 또는 필터링 파라미터 정보 등을 추가적으로 이용할 수 있다. 이러한 인터 레이어 예측 방법의 결합은 본 명세서 이하에서 설명될 예측에도 적용될 수 있다.
변환/양자화부(915, 945)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화 할 수 있다. 변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(915, 945)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환/양자화부(915, 945)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 변환/양자화부(915, 945)는 양자화된 변환 계수를 엔트로피 코딩부(930, 980)로 전달할 수 있다. 이때, 변환/양자화부(945)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(930, 980)로 전달할 수도 있다. 또한, 변환/양자화부(915, 945)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(920, 950)에 전달할 수 있다.
변환/양자화부(915, 945)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(915, 965)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(930, 960)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(920, 950)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다. 디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다. 필터링부(920, 950)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(925, 955)는 필터링부(920, 950)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(925, 955)는 복원 블록 또는 픽처를 인터 예측을 수행하는 예측부(910, 940)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(960)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(930)에서 출력되는 정보는 MUX(965)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다. 설명의 편의를 위해, 레이어 1의 인코딩부(905)가 MUX(965)를 포함하는 것으로 설명하였으나, MUX(965)는 레이어 1의 인코딩부(905) 및 레이어 0의 인코딩부(935)에 포함되지 않는 독립적인 모듈일 수 있다.
스케일러블 비디오 코딩(scalable coding)은 서로 다른 비트 레이트를 갖는 복수의 레이어를 지원한다. 복수의 레이어 간에는 강한 연관성(correlation)이 존재하기 때문에 이 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다. 다른 레이어의 정보를 이용하여 예측의 대상이 되는 현재 레이어의 예측을 수행하는 것을 레이어 간 예측(inter-layer prediction)이라고 표현한다. 복수의 계층들은 해상도, 프레임 레이트 및 컬러 포맷 중 적어도 하나가 서로 다를 수 있으며, 레이어 간 예측 시 해상도의 조절을 위하여 레이어의 업샘플링 또는 다운샘플링이 수행될 수 있다.
차량의 제어 장치는 신호 품질 맵에 따라 복수의 레이어 중 하나의 레이어를 선택하고, 선택된 레이어가 적용된 비디오를 전송할 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 차량의 제어 장치에 의해 수행되어, 상기 차량에 의해 기록되는 비디오를 전송하는 방법에 있어서,
    상기 차량의 주행 경로를 따라 신호 품질 맵을 업데이트하고;
    상기 신호 품질 맵을 기반으로 상기 비디오의 비트 레이트를 조정하고;
    상기 조정된 비디오를 전송하는 것을 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 신호 품질 맵을 기반으로 상기 비디오의 비트 레이트를 조정하는 것은
    상기 비디오를 복수의 레이어를 지원하는 스케일러블 비디오 코딩(scalable video coding)을 이용하여 코딩하는 것을 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    상기 신호 품질 맵을 기반으로 상기 복수의 레이어 중 하나가 선택되는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 신호 품질 맵은 기준 위치, 기준 시간 및 상기 기준 시간에 상기 기준 위치에서 측정된 기준 신호 품질에 관한 정보를 포함하는 것을 특징으로 하는 방법.
  5. 제 4 항에 있어서,
    상기 신호 품질 맵을 업데이트하는 것은
    상기 주행 경로를 따라 신호 품질을 측정 위치에서 측정 시간에 측정하고;
    상기 측정된 신호 품질를 기반으로 상기 신호 품질 맵을 업데이트하는 것을 포함하되,
    (i) 상기 측정된 신호 품질이 상기 기준 신호 품질과 다르고, (ii) 상기 측정 위치와 상기 기준 위치가 특정 거리 이내이고, (iii) 상기 기준 시간 보다 상기 측정 시간이 특정 시간 이후이면, 상기 기준 시간을 상기 측정 시간으로 업데이트하고, 상기 기준 신호 품질을 상기 측정된 신호 품질로 업데이트하는 것을 특징으로 하는 방법.
  6. 차량을 위한 제어 장치에 있어서,
    프로세서; 및
    상기 프로세서에 연결되어, 상기 프로세서에 의해 실행될 때 상기 차량이 기능을 수행하도록 하는 명령어를 저장하는 메모리를 포함하되, 상기 기능은
    상기 차량의 주행 경로를 따라 신호 품질 맵을 업데이트하고;
    상기 차량의 주변을 관한 비디오를 기록하고;
    상기 신호 품질 맵을 기반으로 상기 비디오의 비트 레이트를 조정하고;
    상기 조정된 비디오를 전송하는 것을 포함하는 제어 장치.
  7. 제 6 항에 있어서,
    상기 신호 품질 맵을 기반으로 상기 비디오의 비트 레이트를 조정하는 것은
    상기 비디오를 복수의 레이어를 지원하는 스케일러블 비디오 코딩(scalable video coding)을 이용하여 코딩하는 것을 포함하는 것을 특징으로 하는 제어 장치.
  8. 제 7 항에 있어서,
    상기 신호 품질 맵을 기반으로 상기 복수의 레이어 중 하나가 선택되는 것을 특징으로 하는 제어 장치.
  9. 제 6 항에 있어서,
    상기 신호 품질 맵은 기준 위치, 기준 시간 및 상기 기준 시간에 상기 기준 위치에서 측정된 기준 신호 품질에 관한 정보를 포함하는 것을 특징으로 하는 제어 장치.
  10. 제 9 항에 있어서,
    상기 신호 품질 맵을 업데이트하는 것은
    상기 주행 경로를 따라 신호 품질을 측정 위치에서 측정 시간에 측정하고;
    상기 측정된 신호 품질를 기반으로 상기 신호 품질 맵을 업데이트하는 것을 포함하되,
    (i) 상기 측정된 신호 품질이 상기 기준 신호 품질과 다르고, (ii) 상기 측정 위치와 상기 기준 위치가 특정 거리 이내이고, (iii) 상기 기준 시간 보다 상기 측정 시간이 특정 시간 이후이면, 상기 기준 시간을 상기 측정 시간으로 업데이트하고, 상기 기준 신호 품질을 상기 측정된 신호 품질로 업데이트하는 것을 특징으로 하는 제어 장치.
PCT/KR2020/004304 2020-03-30 2020-03-30 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치 WO2021201307A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/004304 WO2021201307A1 (ko) 2020-03-30 2020-03-30 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/004304 WO2021201307A1 (ko) 2020-03-30 2020-03-30 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021201307A1 true WO2021201307A1 (ko) 2021-10-07

Family

ID=77929280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/004304 WO2021201307A1 (ko) 2020-03-30 2020-03-30 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2021201307A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151352A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd 車載装置および配信局、並びにストリーミング配信システム
US20110222426A1 (en) * 2008-10-27 2011-09-15 Siemens Sas Method for routing data between at least one guided vehicle and a ground network
KR20160063405A (ko) * 2012-04-24 2016-06-03 브이아이디 스케일, 인크. Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치
KR20180112385A (ko) * 2017-04-03 2018-10-12 주식회사 웨이티즈 V2x 통신 시스템을 위한 테스트 데이터 트래킹 방법 및 그를 수행하는 분석 시스템
JP2019022176A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151352A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd 車載装置および配信局、並びにストリーミング配信システム
US20110222426A1 (en) * 2008-10-27 2011-09-15 Siemens Sas Method for routing data between at least one guided vehicle and a ground network
KR20160063405A (ko) * 2012-04-24 2016-06-03 브이아이디 스케일, 인크. Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치
KR20180112385A (ko) * 2017-04-03 2018-10-12 주식회사 웨이티즈 V2x 통신 시스템을 위한 테스트 데이터 트래킹 방법 및 그를 수행하는 분석 시스템
JP2019022176A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法

Similar Documents

Publication Publication Date Title
KR102392221B1 (ko) 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
US10877288B2 (en) Imaging device and imaging method
CN210093322U (zh) 摄像装置
US11585898B2 (en) Signal processing device, signal processing method, and program
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2021201304A1 (ko) 자율주행을 보조하는 방법 및 장치
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2021215559A1 (ko) 차량을 모니터링하는 방법 및 장치
WO2019035391A1 (en) SERVER, METHOD, NON-TRANSIENT COMPUTER-READABLE MEDIUM, AND SYSTEM
US20220165066A1 (en) Information processing apparatus, information processing method, and program
WO2021201307A1 (ko) 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
US20240120356A1 (en) Imaging device and electronic apparatus
WO2021201308A1 (ko) 신호 품질을 고려한 맵을 생성하는 방법 및 이를 이용한 차량을 위한 장치
US11018974B1 (en) Context based bandwidth switching
WO2021215558A1 (ko) 차량의 응급 상황을 처리하는 장치 및 방법
WO2021201305A1 (ko) 차량을 위한 통신 프로토콜을 변경하는 방법 및 장치
WO2021201306A1 (ko) 차량에 의해 기록된 비디오를 전송하는 방법 및 장치
US11438517B2 (en) Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image
US11417023B2 (en) Image processing device, image processing method, and program
WO2024005570A1 (ko) 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템
WO2023162734A1 (ja) 測距装置
WO2024162109A1 (ja) 光検出装置及び測距システム
US20220148283A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20929059

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20929059

Country of ref document: EP

Kind code of ref document: A1