WO2023084842A1 - 車載装置、情報処理装置、センサデータ送信方法、および情報処理方法 - Google Patents

車載装置、情報処理装置、センサデータ送信方法、および情報処理方法 Download PDF

Info

Publication number
WO2023084842A1
WO2023084842A1 PCT/JP2022/026857 JP2022026857W WO2023084842A1 WO 2023084842 A1 WO2023084842 A1 WO 2023084842A1 JP 2022026857 W JP2022026857 W JP 2022026857W WO 2023084842 A1 WO2023084842 A1 WO 2023084842A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
sensor data
unit
compression
compression rate
Prior art date
Application number
PCT/JP2022/026857
Other languages
English (en)
French (fr)
Inventor
賢 福本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023084842A1 publication Critical patent/WO2023084842A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/40—Transportation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Definitions

  • the present disclosure relates to an in-vehicle device, an information processing device, a sensor data transmission method, and an information processing method.
  • the present disclosure provides an in-vehicle device, an information processing device, a sensor data transmission method, and an information processing method that enable execution of processing according to the compression rate of sensor data.
  • An in-vehicle device includes an acquisition unit, a compression unit, and a transmission unit.
  • the acquisition unit acquires vehicle state information representing the state of the vehicle and sensor data measured by sensors provided in the vehicle.
  • the compression unit compresses the sensor data at different compression rates according to vehicle state information.
  • the transmission unit transmits the compression rate in association with the compressed sensor data.
  • FIG. 1 is a diagram showing an example of information communication between a vehicle and a cloud server according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a vehicle equipped with the in-vehicle device according to the first embodiment.
  • FIG. 3 is a diagram showing an example of the configuration near the driver's seat of the vehicle according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of an in-vehicle device according to the first embodiment;
  • FIG. 5 is a block diagram showing an example of functions of the in-vehicle device according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of header-attached sensor data according to the first embodiment.
  • FIG. 1 is a diagram showing an example of information communication between a vehicle and a cloud server according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a vehicle equipped with the in-vehicle device according to the first embodiment.
  • FIG. 3 is a diagram showing an example
  • FIG. 7 is a block diagram illustrating an example of functions of a cloud server according to the first embodiment
  • FIG. 8 is a flowchart illustrating an example of the flow of sensor data transmission processing according to the first embodiment.
  • 9 is a flowchart illustrating an example of the flow of ADAS processing executed by the cloud server according to the first embodiment
  • FIG. 10 is a diagram illustrating an example of information communication among a vehicle, edge server, and cloud server according to the second embodiment.
  • FIG. 11 is a diagram illustrating an example of information communication among a vehicle, an edge server, and a cloud server according to the third embodiment;
  • FIG. 1 is a diagram showing an example of information communication between a vehicle 1 and a cloud server 2 according to the first embodiment.
  • the vehicle 1 and the cloud server 2 are connected via a network such as the Internet.
  • the vehicle 1 of the present embodiment transmits metadata such as compression rate, frame rate, and resolution to the cloud server 2 together with sensor data.
  • the cloud server 2 is provided in a cloud environment.
  • the cloud server 2 is an example of an information processing device in this embodiment.
  • the cloud server 2 executes processing such as ADAS (Advanced Driver-Assistance Systems) based on the metadata of the sensor data transmitted from the vehicle 1. For example, the cloud server 2 changes the threshold used for processing, the algorithm for processing, or the learning model used for learning the sensor data according to the compression rate of the sensor data.
  • ADAS Advanced Driver-Assistance Systems
  • ADAS processing executed by the cloud server 2 includes, for example, ACC (Adaptive Cruise Control System), FCW (Forward Collision Warning), AEBS (Advanced Emergency Braking System), PD (Pedestrian Detection) TSR (Traffic Sign Recognition), LDW (Lane Departure Warning), free space detection, automatic parking, and automated valet parking (AVP), etc.
  • ACC Adaptive Cruise Control System
  • FCW Forward Collision Warning
  • AEBS Advanced Emergency Braking System
  • PD Pedestrian Detection
  • TSR Traffic Sign Recognition
  • LDW Land Departure Warning
  • free space detection automatic parking
  • automatic parking and automated valet parking (AVP), etc.
  • AVP automated valet parking
  • the cloud server 2 transmits vehicle control data for controlling the running of the vehicle 1 to the vehicle 1, for example, based on the sensor data received from the vehicle 1 and the metadata of the sensor data.
  • the cloud server 2 may also provide information to the driver of the vehicle 1 in addition to the vehicle control data for controlling the running of the vehicle 1 .
  • the sensor data in this embodiment includes at least image data of the surroundings of the vehicle 1 captured by an on-board camera mounted on the vehicle 1 .
  • the frame rate included in the metadata of the sensor data is the frame rate of the image data
  • the resolution is the resolution of the image data.
  • the sensor data may include data measured by various sensors in addition to the image data.
  • the sensor data may include ranging data of the distance between the vehicle 1 and obstacles around the vehicle 1 by sonar or radar mounted on the vehicle 1 .
  • the term "obstacle” includes objects, buildings, people such as pedestrians, bicycles, other vehicles, and the like.
  • an edge server may be used instead of the cloud server 2 or in addition to the cloud server 2 .
  • FIG. 2 is a diagram showing an example of the vehicle 1 equipped with the in-vehicle device 100 according to the first embodiment.
  • the vehicle 1 includes a vehicle body 12 and two pairs of wheels 13 arranged on the vehicle body 12 along a predetermined direction.
  • the two pairs of wheels 13 have a pair of front tires 13f and a pair of rear tires 13r.
  • vehicle 1 shown in FIG. 2 has four wheels 13, the number of wheels 13 is not limited to this.
  • vehicle 1 may be a two-wheeled vehicle.
  • the vehicle body 12 is connected to wheels 13 and is movable by the wheels 13 .
  • the predetermined direction in which the two pairs of wheels 13 are arranged is the running direction of the vehicle 1 .
  • the vehicle 1 can move forward or backward by switching gears (not shown) or the like.
  • the vehicle 1 can be turned right or left by steering.
  • the vehicle body 12 has a front end portion F, which is the end portion on the front tire 13f side, and a rear end portion R, which is the end portion on the rear tire 13r side.
  • the vehicle body 12 has a substantially rectangular shape when viewed from above, and the four corners of the substantially rectangular shape may be called end portions.
  • the vehicle 1 includes a display device, a speaker, and an operation unit.
  • a pair of bumpers 14 are provided near the lower end of the vehicle body 12 at the front and rear ends F and R of the vehicle body 12 .
  • the front bumper 14f covers the entire front surface near the lower end of the vehicle body 12 and part of the side surface.
  • the rear bumper 14r covers the entire rear surface and part of the side surfaces of the vehicle body 12 near the lower end.
  • wave transmitting/receiving units 15f and 15r for transmitting/receiving sound waves such as ultrasonic waves are arranged.
  • one or more wave transmitting/receiving units 15f are arranged on the front bumper 14f
  • one or more wave transmitting/receiving units 15r are arranged on the rear bumper 14r.
  • the wave transmitting/receiving units 15f and 15r are not particularly limited, they are simply referred to as the wave transmitting/receiving unit 15.
  • the number and positions of the wave transmitting/receiving units 15 are not limited to the example shown in FIG.
  • the vehicle 1 may include the wave transmitting/receiving units 15 on the left and right sides.
  • the wave transmitting/receiving unit 15 may be a radar that transmits/receives electromagnetic waves.
  • vehicle 1 may be equipped with both sonar and radar.
  • the wave transmitting/receiving unit 15 may be simply referred to as a sensor.
  • the wave transmitting/receiving unit 15 detects obstacles around the vehicle 1 based on the results of transmitting/receiving sound waves or electromagnetic waves. Further, the wave transmitting/receiving unit 15 measures the distance between the obstacles around the vehicle 1 and the vehicle 1 based on the transmission/reception result of the sound wave or the electromagnetic wave.
  • the vehicle 1 has a first on-board camera 16a that captures the front of the vehicle 1, a second on-board camera 16b that captures the rear of the vehicle 1, a third on-board camera 16c that captures the left side of the vehicle 1, and A fourth in-vehicle camera that captures the right side of the vehicle 1 is provided. Illustration of the fourth in-vehicle camera is omitted.
  • the first vehicle-mounted camera 16a, the second vehicle-mounted camera 16b, the third vehicle-mounted camera 16c, and the fourth vehicle-mounted camera are simply referred to as the vehicle-mounted camera 16 when not specifically distinguished.
  • the positions and number of vehicle-mounted cameras are not limited to the example shown in FIG.
  • the vehicle 1 may also include only two cameras, the first on-board camera 16a and the second on-board camera 16b.
  • the vehicle 1 may have another vehicle-mounted camera in addition to the above example.
  • the in-vehicle camera 16 is capable of capturing images around the vehicle 1, and is a camera that captures color images, for example.
  • the image data captured by the vehicle-mounted camera 16 may be a moving image or a still image.
  • the vehicle-mounted camera 16 may be a camera built in the vehicle 1, or may be a camera of a drive recorder attached to the vehicle 1 afterward.
  • the vehicle 1 is equipped with an in-vehicle device 100 .
  • the in-vehicle device 100 is an information processing device that can be mounted on the vehicle 1, and is, for example, an ECU (Electronic Control Unit) provided inside the vehicle 1 or an OBU (On Board Unit).
  • the in-vehicle device 100 may be an external device installed near the dashboard of the vehicle 1 .
  • the in-vehicle device 100 may also serve as a car navigation device or the like.
  • FIG. 3 is a diagram showing an example of the configuration near the driver's seat 130a of the vehicle 1 according to the first embodiment.
  • the vehicle 1 has a driver's seat 130a and a passenger's seat 130b.
  • a windshield 180, a dashboard 190, a steering wheel 140, a display device 120, and operation buttons 141 are provided in front of the driver's seat 130a.
  • the display device 120 is a display provided on the dashboard 190 of the vehicle 1.
  • the display device 120 is, for example, located in the center of the dashboard 190 as shown in FIG.
  • the display device 120 is, for example, a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the display device 120 may also serve as a touch panel.
  • the display device 120 is an example of a display section in this embodiment.
  • the steering wheel 140 is provided in front of the driver's seat 130a and can be operated by the driver.
  • the rotation angle of the steering wheel 140 that is, the steering angle, is electrically or mechanically interlocked with changes in the direction of the front tires 13f, which are the steering wheels.
  • the steered wheels may be the rear tires 13r, or both the front tires 13f and the rear tires 13r may be steered wheels.
  • the operation button 141 is a button that can accept a user's operation.
  • the user is, for example, the driver of the vehicle 1 .
  • the position of the operation button 141 is not limited to the example shown in FIG. 3, and may be provided on the steering wheel 140, for example.
  • the operation button 141 is an example of an operation unit in this embodiment.
  • the display device 120 when the display device 120 also serves as a touch panel, the display device 120 may be an example of an operation unit.
  • An operation terminal capable of transmitting a signal to the vehicle 1 from outside the vehicle 1, such as a tablet terminal, a smartphone, a remote controller, or an electronic key (not shown), may also be used as an example of the operation unit.
  • FIG. 4 is a diagram showing an example of the hardware configuration of the in-vehicle device 100 according to the first embodiment.
  • the in-vehicle device 100 includes a CPU (Central Processing Unit) 11A, a ROM 11B, a RAM 11C, a device I/F (interface) 11D, a CAN (Controller Area Network) I/F 11E, and a NW (Network) I/F 11F. , HDD 11G, etc. are interconnected by a bus 11H, and the hardware configuration is such that a normal computer is used.
  • the CPU 11A is an arithmetic device that controls the in-vehicle device 100 as a whole. Note that the CPU 11A is an example of a processor in the in-vehicle device 100 of this embodiment, and another processor or processing circuit may be provided instead of the CPU 11A.
  • the ROM 11B, RAM 11C, and HDD 11G function as storage units.
  • the ROM 11B stores programs and the like for realizing various processes by the CPU 11A.
  • the RAM 11C is, for example, a main storage device of the in-vehicle device 100, and stores data required for various processes by the CPU 11A.
  • the device I/F 11D is an interface that can be connected to various devices.
  • the device I/F 11D connects with the GPS device 11l and acquires position information indicating the current position of the vehicle 1 from the GPS device 11l.
  • the position information is, for example, latitude and longitude values indicating the absolute position of the vehicle 1 .
  • the GPS device 11l is a device that identifies GPS coordinates representing the position of the vehicle 1 based on the GPS signal received by the GPS antenna 11J.
  • the GPS antenna 11J is an antenna capable of receiving GPS signals.
  • the device I/F 11D acquires images, detection results, and the like from the vehicle-mounted camera 16 and the wave transmitting/receiving unit 15.
  • the CAN I/F 11E is an interface for transmitting and receiving information to and from other ECUs mounted on the vehicle 1 via the CAN within the vehicle 1. Note that a communication standard other than CAN may be adopted.
  • the NW I/F 11F is a communication device capable of communicating with an external information processing device such as the cloud server 2 via a network such as the Internet.
  • the NW I/F 11F is capable of communication by public lines such as LTE (Long Term Evolution) (registered trademark), short-range communication such as Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • LTE Long Term Evolution
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the NW I/F 11F of the in-vehicle device 100 may communicate directly with the cloud server 2 via the Internet, or may communicate indirectly via devices such as other information processing devices. .
  • FIG. 5 is a block diagram showing an example of functions of the in-vehicle device 100 according to the first embodiment.
  • the in-vehicle device 100 includes an acquisition unit 101, a determination unit 102, a generation unit 103, a compression unit 104, a transmission unit 105, a reception unit 106, a vehicle control unit 107, a display control unit 108, a reception unit 109, and a storage unit 110 .
  • the storage unit 110 is composed of, for example, a ROM 11B, a RAM 11C, or an HDD 11G. Note that although one storage unit 110 is included in the in-vehicle device 100 in FIG. 5 , a plurality of storage media may function as the storage unit 110 .
  • the acquiring unit 101, the determining unit 102, the generating unit 103, the compressing unit 104, the transmitting unit 105, the receiving unit 106, the vehicle control unit 107, the display control unit 108, and the reception unit 109 are, for example, programs stored in the ROM 11B or the HDD 11G. is executed by the CPU 11A reading out. Alternatively, a hardware circuit having these functions may be provided in the in-vehicle device 100 .
  • the acquisition unit 101 acquires vehicle state information representing the state of the vehicle 1 and sensor data measured by sensors provided in the vehicle 1 .
  • the senor provided in the vehicle 1 is, for example, the vehicle-mounted camera 16 or the wave transmitting/receiving section 15 . More specifically, in this embodiment, an example in which the vehicle-mounted camera 16 is used as a sensor will be described. Further, in the present embodiment, image data captured by the vehicle-mounted camera 16 will be described as an example of sensor data.
  • the acquisition unit 101 acquires image data of the surroundings of the vehicle 1 from the vehicle-mounted camera 16 via the device I/F 11D. In addition, the acquisition unit 101 acquires ranging data of the distance between the vehicle 1 and an obstacle around the vehicle 1 and the detection result of the obstacle from the wave transmission/reception unit 15 via the device I/F 11D.
  • the sensor may be both the vehicle-mounted camera 16 and the wave transmitting/receiving section 15, or only the wave transmitting/receiving section 15. Also, the vehicle 1 may further include other sensors. In the case where the sensor is the wave transmitting/receiving unit 15, the sensor data may be ranging data of the distance between the vehicle 1 and the obstacles around the vehicle 1 by the wave transmitting/receiving unit 15, or the detection result of the obstacle. good.
  • the vehicle state information of this embodiment includes at least the vehicle speed of the vehicle 1 .
  • Acquisition unit 101 acquires the vehicle speed of vehicle 1 from another ECU via CAN I/F 11E. Further, the acquisition unit 101 may acquire the wheel speed of the vehicle 1 from a wheel speed sensor or the like provided in the vehicle 1 and obtain the vehicle speed of the vehicle 1 from the wheel speed.
  • the vehicle state information may include information other than vehicle speed.
  • the vehicle speed, the GPS position information of the vehicle 1 measured by the GPS device 11l, the state of the gear of the vehicle 1, the steering angle, peripheral information such as the illuminance around the vehicle 1, the weather information around the vehicle 1, and the vehicle 1 at least one of the operating states of the wipers may be included in the vehicle state information.
  • GPS location information is used to identify the characteristics of the current location of vehicle 1 .
  • the acquisition unit 101 may acquire the characteristics of the current position of the vehicle 1 from map data and GPS position information of the vehicle 1 .
  • the map data may be stored in, for example, an external device connected to the in-vehicle device 100 via the Internet or the like, or may be stored in the storage unit 110 of the in-vehicle device 100 .
  • the characteristic of the current position of the vehicle 1 is, for example, a classification such as a parking lot, general road, and highway.
  • the decision unit 102 decides the compression rate of the sensor data according to the vehicle state information. For example, the determining unit 102 determines to compress the sensor data at a low compression rate when the vehicle speed included in the vehicle state information is equal to or lower than the first threshold. Further, when the vehicle speed included in the vehicle state information is faster than the first threshold, the determination unit 102 determines to compress the sensor data at a high compression ratio.
  • a low compression rate is an example of a first compression rate in the present application.
  • the high compression rate is an example of a second compression rate in the present application. Specific numerical values of the low compression rate and the high compression rate are not particularly limited, and it is sufficient that the high compression rate is higher than the low compression rate.
  • the value of the first threshold is not particularly limited.
  • the compression rate is set to two stages, low compression rate and high compression rate, but the compression rate may be divided into three or more stages.
  • the determination unit 102 may determine the compression rate in stages such that the faster the vehicle speed, the higher the compression rate.
  • the in-vehicle device 100 should quickly obtain the result of ADAS processing from the cloud server 2 for driving control of the vehicle 1 .
  • the higher the compression rate of the sensor data the shorter the transmission time between the vehicle 1 and the cloud server 2 of the compressed sensor data. Therefore, when the vehicle speed is high, the determining unit 102 sets the sensor data compression rate higher than when the vehicle speed is low, and quickly transmits the compressed sensor data to the cloud server 2 .
  • the compression method in this embodiment is not particularly limited, it is basically irreversible compression. Therefore, even after the compressed sensor data transmitted from the vehicle 1 to the cloud server 2 is decompressed by the cloud server 2, the data size is smaller than that before compression.
  • the cloud server 2 executes the pedestrian detection process based on the image data transmitted from the vehicle 1, the larger the size of the image data, the more accurate pedestrian detection becomes possible. For example, when the vehicle 1 is traveling at a low speed, it is assumed that the vehicle 1 is in a state just before parking or is traveling on a narrow road. In such a case, the possibility of a pedestrian jumping out is high, so the cloud server 2 performs highly accurate pedestrian detection using high-resolution image data.
  • the determination unit 102 may determine the compression rate of the sensor data according to vehicle state information other than the vehicle speed. For example, when the wipers of the vehicle 1 are operating continuously, the determining unit 102 has a high possibility that it is raining. When the weather is rainy, the driver's visibility of the surroundings of the vehicle 1 is reduced. In such a case, in order to improve the accuracy of pedestrian detection by the cloud server 2, the determination unit 102 determines the compression rate of the image data to be low. Further, when the current position of the vehicle 1 is a parking lot, the determination unit 102 sets the image data compression rate to a low compression rate in order to improve the accuracy of detection of pedestrians and other vehicles in the vicinity by the cloud server 2. may decide.
  • the determining unit 102 may determine the sensor data compression rate according to a combination of a plurality of pieces of information, for example, a combination of the vehicle speed and the characteristics of the current position of the vehicle 1 .
  • the determining unit 102 may determine various characteristics of the sensor data according to the vehicle state information. For example, when the image data is a moving image and the vehicle speed is equal to or less than the first threshold, the determination unit 102 determines the frame rate of the image data to be low and the resolution of the image data to be high. do. Further, when the vehicle speed is faster than the first threshold, the determination unit 102 determines the frame rate of the image data to be a high frame rate and the resolution of the image data to be a low resolution.
  • the low frame rate is an example of the first frame rate in this embodiment.
  • the high frame rate is an example of the first frame rate in this embodiment. Specific values of the low frame rate and the high frame rate are not particularly limited, and the high frame rate should be higher than the low frame rate.
  • High resolution is an example of the first resolution in this embodiment.
  • Low resolution is an example of a second resolution in this embodiment. Specific values of high resolution and low resolution are not particularly limited, and high resolution should be higher than low resolution.
  • the resolution determined by the determination unit 102 is the resolution in a state in which the image data is decompressed in the cloud server 2 after being compressed. Note that when the image data is a still image, the determination unit 102 does not determine the frame rate, but determines the resolution.
  • the frame rate and resolution are set to two levels, but the frame rate and resolution may be divided into three or more levels.
  • the determining unit 102 may determine the frame rate step by step so that the faster the vehicle speed, the higher the frame rate. Further, the determining unit 102 may determine the resolution step by step so that the lower the vehicle speed, the higher the resolution. In general, the faster the vehicle 1, the more the image data moves. By setting the frame rate high by the determining unit 102 , it is possible to reduce omissions in detection of movement in the image data in the cloud server 2 .
  • the generation unit 103 generates header-attached sensor data by adding the compression rate determined by the determination unit 102 to the sensor data.
  • Header-attached sensor data is an example of compression-rate-attached sensor data in this embodiment.
  • the generation unit 103 edits the image data to the frame rate determined by the determination unit 102 . Further, the generation unit 103 may adjust the resolution of the image data so that the image data has the resolution determined by the determination unit 102 after compression and decompression of the image data.
  • FIG. 6 is a diagram showing an example of header-attached sensor data 400 according to the first embodiment.
  • the header-attached sensor data 400 is data to which a compression ratio is added as header data 410 attached to sensor data 420, which is the main body.
  • the header-added sensor data 400 may include data other than the compression rate in the header data 410 .
  • the header data 410 includes image data compression rate, image data frame rate, and image data resolution.
  • the compression rate of image data, the frame rate of image data, and the resolution of image data are examples of metadata of image data. If the sensor data is not image data, the content of the metadata may differ from the example shown in FIG.
  • the header data 410 of the sensor data 420 which is image data, includes metadata such as a compression ratio.
  • the header data 410 does not necessarily have to be added to the sensor data 420 .
  • the compression unit 104 compresses the sensor data at different compression rates depending on the vehicle state information. More specifically, the compression unit 104 compresses the header-attached sensor data 400 generated by the generation unit 103 at a compression rate determined by the determination unit 102 .
  • the transmission unit 105 transmits the compression rate to the cloud server 2 in association with the compressed sensor data 420 via the NW I/F 11F. More specifically, the transmission unit 105 transmits the header-attached sensor data 400 compressed by the compression unit 104 to the cloud server 2 .
  • the receiving unit 106 receives vehicle control data for controlling the running of the vehicle 1 from the cloud server 2 via the NW I/F 11F.
  • Vehicle control data is, for example, the result of processing by ADAS.
  • the vehicle control data includes a detection result of an obstacle around the vehicle 1, a signal instructing the braking operation of the vehicle 1, a signal instructing the steering of the vehicle 1, a signal instructing the vehicle speed of the vehicle 1, or the like. is.
  • the vehicle control unit 107 controls traveling of the vehicle 1 based on the vehicle control data received by the receiving unit 106 .
  • the vehicle control unit 107 controls steering, braking, and acceleration/deceleration of the vehicle 1 based on vehicle control data.
  • the vehicle control unit 107 also controls the image of the surroundings of the vehicle 1 captured by the vehicle-mounted camera 16 and the distance from the obstacles around the vehicle 1 detected by the wave transmitting/receiving unit 15. Based on this, the traveling of the vehicle 1 may be controlled.
  • the display control unit 108 causes the display device 120 to display various images and a GUI (Graphical User Interface). Further, the display control unit 108 may cause the display device 120 to display an obstacle detection warning based on the vehicle control data received by the reception unit 106 .
  • GUI Graphic User Interface
  • the reception unit 109 receives various operations from the driver of the vehicle 1 via the operation buttons 141. Moreover, when the display device 120 includes a touch panel, the reception unit 109 receives various operations from the driver of the vehicle 1 input to the touch panel.
  • FIG. 7 is a block diagram showing an example of functions of the cloud server 2 according to the first embodiment.
  • the cloud server 2 includes a receiving section 201, an ADAS processing section 200, a transmitting section 205, and a storage section 210.
  • the ADAS processing unit 200 is an example of a control processing unit in this embodiment.
  • the storage unit 210 is composed of, for example, a cloud environment ROM, RAM, or HDD.
  • the receiving unit 201, the ADAS processing unit 200, and the transmitting unit 205 are functions that are executed by, for example, the CPU in the cloud environment reading the program stored in the storage unit 210.
  • the receiving unit 201 receives the compressed sensor data 420 and the compression ratio of the sensor data 420 from the in-vehicle device 100 mounted in the vehicle 1 . More specifically, the receiving unit 201 receives the compressed header-attached sensor data 400 from the in-vehicle device 100 mounted on the vehicle 1 .
  • the ADAS processing unit 200 executes different processes according to the compression rate of the sensor data 420. More specifically, the ADAS processing unit 200 performs different processes according to the compression rate included in the compressed header-attached sensor data 400 .
  • the ADAS processing unit 200 includes an obstacle detection unit 202, a learning unit 203, and an estimation unit 204. These functional units are examples of ADAS functions executed by the ADAS processing unit 200 . Note that the functional units included in the ADAS processing unit 200 are not limited to these.
  • the obstacle detection unit 202 changes the threshold for obstacle detection in the process of detecting obstacles from the sensor data 420 according to the compression ratio of the sensor data 420 .
  • the threshold for obstacle detection will be referred to as a detection threshold.
  • the obstacle detection unit 202 decompresses the compressed sensor data 420 and uses it for obstacle detection.
  • the obstacle detection unit 202 when the compression rate of the sensor data 420 is equal to or less than the second threshold, the obstacle detection unit 202 performs obstacle detection based on the sensor data 420 using the low compression rate detection threshold. Further, when the compression ratio of the sensor data 420 is higher than the second threshold, the obstacle detection unit 202 executes obstacle detection based on the sensor data 420 using the detection threshold for high compression ratio.
  • the low compression rate detection threshold is an example of the first detection threshold in this embodiment.
  • the high compression rate detection threshold is an example of the second detection threshold in this embodiment.
  • the high compression ratio detection threshold is set to a lower value than the low compression ratio detection threshold. That is, when the compression rate of the sensor data 420 is high, the obstacle detection unit 202 is more likely to determine that "an obstacle exists around the vehicle 1" than when the compression rate of the sensor data 420 is low.
  • the sensor data 420 is image data
  • image data with a high compression rate has a lower resolution than image data with a low compression rate. Therefore, when image data with a high compression rate is used, the obstacle detection unit 202 sets a low detection threshold for obstacle detection, thereby reducing obstacle detection omissions.
  • the height of the detection threshold may be divided into two or more stages.
  • the obstacle detection unit 202 generates a signal instructing a braking operation of the vehicle 1 to avoid the detected obstacle, a signal instructing the steering of the vehicle 1, a signal instructing the vehicle speed of the vehicle 1, or the like.
  • the learning unit 203 learns sensor data transmitted from the in-vehicle device 100 .
  • the learning method is, for example, deep learning using a learning model, but is not limited to this. Note that the learning unit 203 expands the compressed sensor data 420 and uses it for learning.
  • the learning unit 203 uses different learning models according to the compression rate of the sensor data 420. For example, when the compression rate of the sensor data 420 is equal to or less than the second threshold, the learning unit 203 causes the low compression rate learning model to learn the sensor data 420 . Further, when the compression ratio of the sensor data 420 is higher than the second threshold, the learning unit 203 causes the high compression ratio learning model to learn the sensor data 420 .
  • the low compression rate learning model is an example of the first learning model in this embodiment.
  • the high compression rate learning model is an example of the second learning model in this embodiment.
  • the learning unit 203 stores the low compression rate learning model and the high compression rate learning model in the storage unit 210, for example.
  • the learning accuracy of the learning model is improved.
  • the sensor data 420 is image data
  • image data with a high compression rate has a lower resolution than image data with a low compression rate.
  • the learning unit 203 uses different learning models according to the compression rate of the sensor data 420, so that learning of the learning model can be performed rather than inputting a plurality of sensor data 420 having different compression rates into one learning model. Improves accuracy.
  • the number of learning models is not limited to two, and may be three or more.
  • the estimation unit 204 uses the low compression rate learning model and the high compression rate learning model learned by the learning unit 203 to perform estimation processing.
  • the content of the estimation process may be, for example, obstacle detection or forward collision warning.
  • the estimation unit 204 inputs the sensor data 420 to the trained low compression rate learning model, Get the output as the estimation result. Further, when the compression rate of the sensor data 420 is higher than the second threshold, the estimation unit 204 inputs the sensor data 420 to the learned high compression rate learning model, Get the output as the estimation result.
  • the learning unit 203 and the estimating unit 204 do not have to function at the same time.
  • the estimation unit 204 does not need to function until sensor data 420 equal to or greater than a prescribed threshold is learned by the low compression rate learning model and the high compression rate learning model.
  • the obstacle detection unit 202 and the estimation unit 204 are illustrated as separate functional units, but the obstacle detection unit 202 can be used for the low compression rate learning model and the high compression rate learning model learned by the learning unit 203. may be used to perform obstacle detection.
  • the change in processing according to the compression ratio of the sensor data 420 is not limited to the above example.
  • the ADAS processing unit 200 may change the processing algorithm according to the compression rate of the sensor data 420 .
  • the ADAS processing unit 200 may perform different processing according to metadata other than the compression rate.
  • the ADAS processing unit 200 may change the detection threshold, learning model, or algorithm used for processing according to the frame rate or resolution included in the header data 410 of the header-attached sensor data 400 .
  • the transmission unit 205 transmits vehicle control data, which is the result of processing by the ADAS processing unit 200 , to the in-vehicle device 100 .
  • the transmission unit 205 transmits the obstacle detection result by the obstacle detection unit 202 to the in-vehicle device 100 .
  • the transmission unit 205 transmits a signal that instructs the braking operation of the vehicle 1, a signal that instructs the steering of the vehicle 1, or a signal that instructs the vehicle speed of the vehicle 1, which is generated by the obstacle detection unit 202, to the in-vehicle device 100. You may
  • FIG. 8 is a flowchart showing an example of the flow of transmission processing of the sensor data 420 according to the first embodiment.
  • the processing of this flowchart is started when the ignition power supply is turned on, for example, when the vehicle-mounted device 100 is receiving power from the ignition power supply of the vehicle 1 . Further, when the in-vehicle device 100 receives power from the accessory power source of the vehicle 1, the processing of this flowchart starts when the accessory power source is in the ON state.
  • the acquisition unit 101 acquires vehicle state information such as vehicle speed of the vehicle 1 (S101). Also, the acquisition unit 101 acquires the sensor data 420 (S102).
  • the determination unit 102 determines whether the vehicle 1 is running (S103). For example, the determination unit 102 determines that the vehicle 1 is running when the vehicle speed of the vehicle 1 acquired by the acquisition unit 101 is equal to or greater than a threshold. Note that the determination unit 102 may determine whether the vehicle 1 is running based on the operating state of the accelerator pedal or the like.
  • the process returns to S101.
  • the processes of S101 to S103 are repeatedly executed. Note that the acquisition unit 101 may not acquire the sensor data 420 when the vehicle 1 is not running.
  • the determining unit 102 determines the compression rate, frame rate, and resolution of the sensor data 420 according to the vehicle state information (S104). .
  • the generation unit 103 edits the sensor data 420 according to the frame rate and resolution determined by the determination unit 102 (S105).
  • the generation unit 103 describes the compression rate, frame rate, and resolution determined by the determination unit 102 in the header of the sensor data 420 (S106).
  • the compression unit 104 compresses the header-attached sensor data 400 at the compression ratio determined by the determination unit 102 (S107).
  • the transmission unit 105 transmits the compressed header-attached sensor data 400 to the cloud server 2 (S108).
  • FIG. 9 is a flowchart showing an example of the flow of ADAS processing executed by the cloud server 2 according to the first embodiment.
  • the ADAS processing by the cloud server 2 is basically ready to start at any time, waiting for reception of the header-attached sensor data 400 from the in-vehicle device 100 .
  • the receiving unit 201 of the cloud server 2 receives the header-attached sensor data 400 from the in-vehicle device 100 mounted on the vehicle 1 (S201 “Yes”), and when the compression rate is equal to or less than the second threshold ( S202 “Yes"), the obstacle detection unit 202, the learning unit 203, and the estimation unit 204 included in the ADAS processing unit 200 of the cloud server 2 detect the low compression rate detection threshold, the low compression rate learning model, and the low compression A rate algorithm is applied to perform various ADAS processes (S203).
  • the receiving unit 201 receives the header-attached sensor data 400 from the in-vehicle device 100 mounted on the vehicle 1 (S201 "Yes”) and the compression rate is higher than the second threshold (S202 " No”), the obstacle detection unit 202, the learning unit 203, and the estimation unit 204 included in the ADAS processing unit 200 of the cloud server 2 detect the detection threshold for high compression rate, the learning model for high compression rate, and the An algorithm is applied to perform ADAS processing (S204).
  • the transmission unit 205 of the cloud server 2 transmits vehicle control data, which is the result of processing by the ADAS processing unit 200, to the in-vehicle device 100 (S205).
  • the process returns to S201, and the process of this flowchart is repeated. Also, when the ADAS process ends (S206 "Yes"), the process of this flowchart ends.
  • the case where the ADAS processing by the cloud server 2 ends is, for example, the case where the cloud server 2 is stopped by the administrator.
  • the in-vehicle device 100 of the present embodiment compresses the sensor data 420 at different compression rates according to the vehicle state information of the vehicle 1, and transmits the compression rate in association with the compressed sensor data 420. . Therefore, the cloud server 2 or the edge server that receives the compressed sensor data from the in-vehicle device 100 of the present embodiment can execute processing according to the compression ratio of the sensor data.
  • the in-vehicle device 100 of the present embodiment generates the header-added sensor data 400 by adding the compression rate determined according to the vehicle state information to the acquired sensor data as header data, and determines the header-attached sensor data 400. Then, the compressed header-added sensor data 400 is transmitted. Therefore, according to the in-vehicle device 100 of the present embodiment, the compression ratio and the sensor data 420 can be transmitted together to the cloud server 2 or the like. easier.
  • the vehicle state information includes at least the vehicle speed of the vehicle 1 .
  • the in-vehicle device 100 of the present embodiment determines to compress the sensor data 420 at a low compression rate when the vehicle speed is equal to or less than the first threshold, and compresses the sensor data 420 when the vehicle speed is faster than the first threshold. Decide to compress with a high compression ratio. Therefore, according to the in-vehicle device 100 of the present embodiment, when the vehicle speed of the vehicle 1 is high, the compression ratio of the sensor data 420 is increased to shorten the data transmission time to the cloud server 2 or the like. , etc., can be obtained quickly.
  • the in-vehicle device 100 of the present embodiment when the vehicle speed of the vehicle 1 is slow, the deterioration of the sensor data 420 is reduced by suppressing the compression rate of the sensor data 420 low, and the ADAS processing in the cloud server 2 or the like is reduced. Accuracy can be improved. That is, the in-vehicle device 100 of this embodiment can appropriately adjust the balance between the data transmission speed and the accuracy of ADAS processing according to the vehicle speed of the vehicle 1 .
  • the sensor data 420 includes at least image data of the surroundings of the vehicle 1 .
  • the in-vehicle device 100 of this embodiment determines the frame rate of the image data to be low and the resolution of the image data to be high when the vehicle speed of the vehicle 1 is equal to or less than the first threshold. Further, when the vehicle speed of the vehicle 1 is faster than the first threshold, the in-vehicle device 100 of the present embodiment determines the frame rate of the image data to be high and the resolution of the image data to be low.
  • the in-vehicle device 100 of the present embodiment in addition to adjusting the balance between the data transmission speed and the ADAS processing accuracy by the compression rate, the data corresponding to the vehicle speed of the vehicle 1 is further adjusted by the frame rate and the resolution. A balance can be made between transmission speed and ADAS processing accuracy.
  • the vehicle state information of the present embodiment includes the vehicle speed of the vehicle 1, the position of the vehicle 1, the gear state of the vehicle 1, the steering angle of the vehicle 1, the illuminance around the vehicle 1, the weather information around the vehicle 1, and , operating states of the wipers of the vehicle 1 . Therefore, according to the in-vehicle device 100 of the present embodiment, it is possible to appropriately adjust the balance between the data transmission speed and the ADAS processing accuracy according to various conditions of the vehicle 1 as well as the vehicle speed.
  • the cloud server 2 of the present embodiment receives the compressed sensor data 420 and the compression ratio of the sensor data 420 from the in-vehicle device 100, and performs different processes according to the compression ratio of the sensor data 420. Therefore, according to the cloud server 2 of the present embodiment, the processing can be divided according to the compression rate, and the accuracy of the processing result can be improved.
  • the cloud server 2 of the present embodiment performs obstacle detection based on the sensor data 420 using the low compression rate detection threshold, and the sensor data 420 is higher than the second threshold, obstacle detection based on the sensor data 420 is performed using the detection threshold for high compression rate. Therefore, according to the cloud server 2 of the present embodiment, when image data with a high compression rate is used, failure to detect obstacles can be reduced by lowering the detection threshold for obstacle detection.
  • the cloud server 2 of the present embodiment causes the low compression rate learning model to learn the sensor data 420 when the compression rate is equal to or less than the second threshold, and when the compression rate is higher than the second threshold, the high compression rate Let the learning model for use learn the sensor data 420 . For this reason, according to the cloud server 2 of the present embodiment, by using different learning models according to compression ratios, it is possible to use a learning model rather than inputting a plurality of sensor data 420 having different compression ratios into one learning model. Learning accuracy can be improved.
  • the cloud server 2 executes the ADAS processing based on the sensor data 420 transmitted from the in-vehicle device 100, but the execution subject of the ADAS processing is limited to the cloud server 2. isn't it.
  • an edge server may be the subject of execution of ADAS processing.
  • FIG. 10 is a diagram showing an example of information communication among the vehicle 1, edge server 3, and cloud server 2 according to the second embodiment.
  • the edge server 3 and the cloud server 2 are examples of information processing devices.
  • the edge server 3 is a computer that can store the processing of the in-vehicle device 100 using edge computing technology.
  • the edge server 3 includes, for example, a processor such as a CPU and storage devices such as RAM, ROM, and HDD.
  • the edge server 3 is provided, for example, in a communication base station, a traffic infrastructure facility, or the like, and performs mutual information communication with the in-vehicle device 100 mounted on the vehicle 1 and the cloud server 2 .
  • the edge server 3 is provided with the obstacle detection unit 202 and the estimation unit 204 of the ADAS processing unit 200 of the cloud server 2 in the first embodiment shown in FIG.
  • the learning unit 203 of the ADAS processing unit 200 of the cloud server 2 in the first embodiment illustrated in FIG. 7 is provided in the cloud server 2 .
  • both the edge server 3 and the cloud server 2 shall have functional units corresponding to the receiving unit 201, the transmitting unit 205, and the storage unit 210 of the cloud server 2 in the first embodiment shown in FIG. .
  • the receiving unit of the edge server 3 receives the compressed header-attached sensor data 400 from the in-vehicle device 100 .
  • the obstacle detection unit 202 and the estimation unit 204 of the edge server 3 execute processing according to the compression ratio, like the obstacle detection unit 202 and the estimation unit 204 of the cloud server 2 in the first embodiment.
  • the transmission unit of the edge server 3 transmits vehicle control data based on the processing result of the obstacle detection unit 202 or the estimation unit 204 to the vehicle 1 .
  • the transmission unit of the edge server 3 transmits the compressed header-attached sensor data 400 received from the in-vehicle device 100 to the cloud server 2 .
  • the receiving unit of the cloud server 2 receives the compressed header-attached sensor data 400 from the edge server 3 .
  • the learning unit 203 of the cloud server 2 performs learning using a learning model corresponding to the compression rate of the header-attached sensor data 400, as in the first embodiment.
  • the transmission unit of the cloud server 2 transmits the learned model learned by the learning unit 203 to the edge server 3 .
  • the learned model is used, for example, by the estimation unit 204 or the obstacle detection unit 202 of the edge server 3 .
  • the vehicle control data which is the processing result based on the header-attached sensor data 400, can be processed by the in-vehicle device more quickly than when the processing is performed by the cloud server 2. 100.
  • the cloud server 2 has a smaller storage capacity limit than the edge server 3, so the cloud server 2 executes the learning process that does not affect the running control of the vehicle 1 even if the process takes time. By doing so, learning of a large amount of sensor data 420 becomes possible.
  • FIG. 10 illustrates a case where both the edge server 3 and the cloud server 2 are used, a configuration in which the cloud server 2 is not used and processing is performed only by the edge server 3 and the in-vehicle device 100 is adopted. good too.
  • the edge server 3 is an example of the information processing device.
  • FIG. 11 is a diagram showing an example of information communication among the vehicle 1, edge server 3, and cloud server 2 according to the third embodiment.
  • the edge server 3 of this embodiment is mounted on the vehicle 1 in the same manner as the on-vehicle device 100 .
  • the edge server 3 By installing the edge server 3 in the vehicle 1 in this manner, the in-vehicle device 100 and the edge server 3 can be connected by wire within the vehicle 1, and an improvement in communication speed can be expected.
  • Each function of the in-vehicle device 100, the cloud server 2, and the edge server 3 of each embodiment described above is realized, for example, by the CPU executing a program.
  • the programs executed by the in-vehicle device 100, the cloud server 2, and the edge server 3 of each of the above-described embodiments are stored as installable or executable files on CD-ROMs, CD-Rs, and DVDs (Digital Versatile Disks). ), recorded in a computer-readable recording medium such as a flash memory and provided.
  • the programs executed by the in-vehicle device 100, the cloud server 2, and the edge server 3 of each of the above-described embodiments are stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network. It may be configured as follows. Further, the programs executed by the in-vehicle device 100, the cloud server 2, and the edge server 3 of each of the above-described embodiments may be provided or distributed via a network such as the Internet.
  • the programs executed by the in-vehicle device 100, the cloud server 2, and the edge server 3 of each of the above-described embodiments may be pre-installed in a ROM or the like and provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Operations Research (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示に係る車載装置は、取得部と、圧縮部と、送信部とを備える。取得部は、車両の状態を表す車両状態情報と、車両に備えられたセンサによって計測されたセンサデータとを取得する。圧縮部は、車両状態情報に応じた異なる圧縮率でセンサデータを圧縮する。送信部は、圧縮率を、圧縮されたセンサデータに対応付けて送信する。

Description

車載装置、情報処理装置、センサデータ送信方法、および情報処理方法
　本開示は、車載装置、情報処理装置、センサデータ送信方法、および情報処理方法に関する。
　従来、車両に設けられた各種センサにより計測されたセンサデータを、車載装置からクラウドサーバまたはエッジサーバに送信する技術が知られている。
特開２０２０－１０７２９１号公報
　本開示は、センサデータの圧縮率に応じた処理の実行を可能にする車載装置、情報処理装置、センサデータ送信方法、および情報処理方法を提供する。
　本開示に係る車載装置は、取得部と、圧縮部と、送信部とを備える。取得部は、車両の状態を表す車両状態情報と、車両に備えられたセンサによって計測されたセンサデータとを取得する。圧縮部は、車両状態情報に応じた異なる圧縮率でセンサデータを圧縮する。送信部は、圧縮率を、圧縮されたセンサデータに対応付けて送信する。
図１は、第１の実施形態に係る車両とクラウドサーバ間の情報通信の一例を示す図である。 図２は、第１の実施形態に係る車載装置を備える車両の一例を示す図である。 図３は、第１の実施形態に係る車両の運転席近傍の構成の一例を示す図である。 図４は、第１の実施形態に係る車載装置のハードウェア構成の一例を示す図である。 図５は、第１の実施形態に係る車載装置の機能の一例を示すブロック図である。 図６は、第１の実施形態に係るヘッダ付きセンサデータの一例を示す図である。 図７は、第１の実施形態に係るクラウドサーバの機能の一例を示すブロック図である。 図８は、第１の実施形態に係るセンサデータの送信処理の流れの一例を示すフローチャートである。 図９は、第１の実施形態に係るクラウドサーバで実行されるＡＤＡＳ処理の流れの一例を示すフローチャートである。 図１０は、第２の実施形態に係る車両、エッジサーバ、およびクラウドサーバの間の情報通信の一例を示す図である。 図１１は、第３の実施形態に係る車両、エッジサーバ、およびクラウドサーバの間の情報通信の一例を示す図である。
　以下、図面を参照しながら、本開示に係る車載装置、および情報処理装置の実施形態について説明する。
（第１の実施形態）
　図１は、第１の実施形態に係る車両１とクラウドサーバ２間の情報通信の一例を示す図である。車両１とクラウドサーバ２とは、インターネット等のネットワークを介して接続する。図１に示すように、本実施形態の車両１は、センサデータと共に圧縮率、フレームレート、および解像度等のメタデータをクラウドサーバ２に送信する。
　クラウドサーバ２は、クラウド環境に設けられる。クラウドサーバ２は、本実施形態における情報処理装置の一例である。
　クラウドサーバ２は、車両１から送信されたセンサデータのメタデータに応じて、当該センサデータに基づくＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍｓ）等の処理を実行する。例えば、クラウドサーバ２は、センサデータの圧縮率に応じて、処理に用いる閾値、処理のアルゴリズム、または当該センサデータの学習に用いる学習モデルを変更する。
　クラウドサーバ２が実行するＡＤＡＳ処理は、例えば、ＡＣＣ（Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ　Ｓｙｓｔｅｍ：アダプティブクルーズコントロール)、ＦＣＷ（Ｆｏｒｗａｒｄ　Ｃｏｌｌｉｓｉｏｎ　Ｗａｒｎｉｎｇ：前方衝突警告）、ＡＥＢＳ（Ａｄｖａｎｃｅｄ　Ｅｍｅｒｇｅｎｃｙ　Ｂｒａｋｉｎｇ　Ｓｙｓｔｅｍ：衝突被害軽減制動制御装置）、ＰＤ（Ｐｅｄｅｓｔｒｉａｎ　Ｄｅｔｅｃｔｉｏｎ：歩行者検知）ＴＳＲ（Ｔｒａｆｆｉｃ　Ｓｉｇｎ　Ｒｅｃｏｇｎｉｔｉｏｎ：交通標識認識）、ＬＤＷ（Ｌａｎｅ　Ｄｅｐａｒｔｕｒｅ　Ｗａｒｎｉｎｇ：車線逸脱警報）、フリースペース検知、自動駐車、および自動バレー駐車（Ａｕｔｏｍａｔｅｄ　Ｖａｌｅｔ　Ｐａｒｋｉｎｇ：ＡＶＰ）等であるがこれらに限定されるものではない。
　クラウドサーバ２は、例えば、車両１から受信したセンサデータおよび当該センサデータのメタデータに基づいて、車両１の走行を制御する車両制御データを車両１に送信する。また、クラウドサーバ２は、車両１の走行を制御する車両制御データ以外に、車両１の運転者への情報提供等を行ってもよい。
　本実施形態におけるセンサデータは、少なくとも、車両１に搭載された車載カメラが車両１の周囲を撮影した画像データを含む。センサデータのメタデータに含まれるフレームレートは当該画像データのフレームレート、および解像度は当該画像データの解像度である。なお、センサデータは、画像データ以外に、各種のセンサによる計測データを含んでもよい。例えば、センサデータは、車両１に搭載されたソナーまたはレーダーによる車両１の周囲の障害物と車両１との間の距離の測距データ等を含んでもよい。
　なお、本実施形態において「障害物」という場合、物体、建築物、歩行者等の人、自転車、他の車両等を含むものとする。また、図１ではクラウドサーバ２を例示しているが、クラウドサーバ２の代わりに、あるいはクラウドサーバ２に加えて、エッジサーバが用いられてもよい。
　次に、本実施形態における車両１の構成について説明する。
　図２は、第１の実施形態に係る車載装置１００を備える車両１の一例を示す図である。図２に示すように、車両１は、車体１２と、車体１２に所定方向に沿って配置された２対の車輪１３とを備える。２対の車輪１３は、１対のフロントタイヤ１３ｆ及び１対のリアタイヤ１３ｒを備える。
　なお、図２に示す車両１は４つの車輪１３を備えるが、車輪１３の数はこれに限定されるものではない。例えば、車両１は２輪車であっても良い。
　車体１２は、車輪１３に結合され、車輪１３によって移動可能である。この場合、２対の車輪１３が配置される所定方向が車両１の走行方向となる。車両１は、不図示のギヤの切り替え等により前進または後退することができる。また、車両１は、操舵により右左折することもできる。
　また、車体１２は、フロントタイヤ１３ｆ側の端部である前端部Ｆと、リアタイヤ１３ｒ側の端部である後端部Ｒを有する。車体１２は上面視で略矩形をしており、略矩形状の４つの角部を端部と呼ぶ場合もある。また、図２では図示を省略するが、車両１は、表示装置、スピーカ、および操作部を備える。
　車体１２の前後端部Ｆ，Ｒであって、車体１２の下端付近には１対のバンパー１４が設けられている。１対のバンパー１４のうち、フロントバンパー１４ｆは車体１２の下端部付近の前面全体と側面の一部を覆う。１対のバンパー１４のうち、リアバンパー１４ｒは車体１２の下端部付近の後面全体と側面の一部を覆う。
　車体１２の所定の端部には、超音波等の音波の送受波を行う送受波部１５ｆ，１５ｒが配置される。例えば、フロントバンパー１４ｆには１つ以上の送受波部１５ｆが配置され、リアバンパー１４ｒには１つ以上の送受波部１５ｒが配置される。以下、送受波部１５ｆ，１５ｒを特に限定しない場合には、単に送受波部１５という。また、送受波部１５の数および位置は、図２に示す例に限定されるものではない。例えば、車両１は、左右の側方に送受波部１５を備えても良い。
　本実施形態においては、超音波を使用したソナーを送受波部１５の一例とするが、送受波部１５は、電磁波を送受波するレーダーであっても良い。あるいは、車両１は、ソナーとレーダーの両方を備えても良い。また、送受波部１５を単にセンサと称しても良い。
　送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物を検出する。また、送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物と車両１との距離を計測する。
　また、車両１は、車両１の前方を撮影する第１の車載カメラ１６ａ、車両１の後方を撮影する第２の車載カメラ１６ｂ、車両１の左側方を撮影する第３の車載カメラ１６ｃ、および車両１の右側方を撮影する第４の車載カメラを備える。第４の車載カメラは図示を省略する。
　以下、第１の車載カメラ１６ａ、第２の車載カメラ１６ｂ、第３の車載カメラ１６ｃ、および第４の車載カメラを特に区別しない場合には単に車載カメラ１６という。車載カメラの位置及び数は図２に示す例に限定されるものではない。例えば、車両１は、また、第１の車載カメラ１６ａおよび第２の車載カメラ１６ｂの２台のみを備えても良い。あるいは、車両１は、上述の例の他に、さらに他の車載カメラを有しても良い。
　車載カメラ１６は、車両１の周囲の映像を撮影可能であり、例えば、カラー画像を撮影するカメラである。なお、車載カメラ１６が撮影する画像データは、動画でも良いし、静止画でも良い。また、車載カメラ１６は、車両１に内蔵されたカメラであっても良いし、車両１に後付けされたドライブレコーダーのカメラ等であっても良い。
　また、車両１には、車載装置１００が搭載される。車載装置１００は、車両１に搭載可能な情報処理装置であり、例えば、車両１の内部に設けられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）、もしくはＯＢＵ（Ｏｎ　Ｂｏａｒｄ　Ｕｎｉｔ）である。あるいは、車載装置１００は、車両１のダッシュボード付近に設置された外付けの装置であっても良い。なお、車載装置１００はカーナビゲーション装置等を兼ねても良い。
　次に、本実施形態の車両１の運転席近傍の構成について説明する。図３は、第１の実施形態に係る車両１の運転席１３０ａ近傍の構成の一例を示す図である。
　図３に示すように、車両１は運転席１３０ａ、および助手席１３０ｂを備える。また、運転席１３０ａの前方にはフロントガラス１８０、ダッシュボード１９０、ステアリングホイール１４０、表示装置１２０、および操作ボタン１４１が設けられる。
　表示装置１２０は、車両１のダッシュボード１９０に設けられたディスプレイである。表示装置１２０は、一例として、図３に示すようにダッシュボード１９０の中央に位置する。表示装置１２０は例えば液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。また、表示装置１２０は、タッチパネルを兼ねても良い。表示装置１２０は、本実施形態における表示部の一例である。
　また、ステアリングホイール１４０は、運転席１３０ａの正面に設けられ、ドライバ（運転者）によって操作可能である。ステアリングホイール１４０の回転角度、つまり操舵角は、操舵輪であるフロントタイヤ１３ｆの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ１３ｒでも良いし、フロントタイヤ１３ｆとリアタイヤ１３ｒの両方が操舵輪であっても良い。
　操作ボタン１４１は、ユーザによる操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両１の運転者である。なお、操作ボタン１４１の位置は図３に示す例に限定されるものでなく、例えばステアリングホイール１４０に設けられても良い。操作ボタン１４１は、本実施形態における操作部の一例である。また、表示装置１２０がタッチパネルを兼ねる場合は、表示装置１２０が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両１の外部から車両１に対して信号を送信可能な操作端末を、操作部の一例としても良い。
　次に、本実施形態の車載装置１００のハードウェア構成について説明する。
　図４は、第１の実施形態に係る車載装置１００のハードウェア構成の一例を示す図である。図４に示すように、車載装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１Ａ、ＲＯＭ１１Ｂ、ＲＡＭ１１Ｃ、デバイスＩ／Ｆ（インタフェース）１１Ｄ、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）Ｉ／Ｆ１１Ｅ、ＮＷ（ＮｅｔＷｏｒｋ）　Ｉ／Ｆ１１Ｆ、ＨＤＤ１１Ｇ等がバス１１Ｈにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
　ＣＰＵ１１Ａは、車載装置１００全体を制御する演算装置である。なお、ＣＰＵ１１Ａは、本実施形態の車載装置１００におけるプロセッサの一例であり、他のプロセッサまたは処理回路がＣＰＵ１１Ａの代わりに設けられても良い。
　ＲＯＭ１１Ｂ、ＲＡＭ１１Ｃ、およびＨＤＤ１１Ｇは、記憶部として機能する。例えば、ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる各種処理を実現するプログラム等を記憶する。ＲＡＭ１１Ｃは、例えば車載装置１００の主記憶装置であり、ＣＰＵ１１Ａによる各種処理に必要なデータを記憶する。
　デバイスＩ／Ｆ１１Ｄは、各種のデバイスと接続可能なインタフェースである。例えば、デバイスＩ／Ｆ１１Ｄは、ＧＰＳ装置１１ｌと接続し、ＧＰＳ装置１１ｌから、車両１の現在位置を示す位置情報を取得する。当該位置情報は、例えば、車両１の絶対位置を示す緯度と経度の値である。
　ＧＰＳ装置１１ｌは、ＧＰＳアンテナ１１Ｊが受信したＧＰＳ信号に基づいて車両１の位置を表すＧＰＳ座標を特定する装置である。ＧＰＳアンテナ１１Ｊは、ＧＰＳ信号を受信可能なアンテナである。
　また、デバイスＩ／Ｆ１１Ｄは、車載カメラ１６および送受波部１５から画像および検知結果等を取得する。
　ＣＡＮ　Ｉ／Ｆ１１Ｅは、車両１内のＣＡＮを介して車両１に搭載された他のＥＣＵとの間で情報の送受信をするためのインタフェースである。なお、ＣＡＮ以外の通信規格を採用しても良い。
　ＮＷ　Ｉ／Ｆ１１Ｆは、インターネット等のネットワークを介してクラウドサーバ２等の外部の情報処理装置と通信可能な通信装置である。ＮＷ　Ｉ／Ｆ１１Ｆは、例えば、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）（登録商標）等の公衆回線、Ｗｉ-Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信等による通信が可能である。また、車載装置１００のＮＷ　Ｉ／Ｆ１１Ｆは、インターネットを介してクラウドサーバ２と直接的に通信してもよいし、他の情報処理装置等の機器を介して、間接的に通信してもよい。
　次に、本実施形態の車載装置１００が備える機能について説明する。
　図５は、第１の実施形態に係る車載装置１００の機能の一例を示すブロック図である。図５に示すように、車載装置１００は、取得部１０１、決定部１０２、生成部１０３、圧縮部１０４、送信部１０５、受信部１０６、車両制御部１０７、表示制御部１０８、受付部１０９、および記憶部１１０を備える。
　記憶部１１０は、例えばＲＯＭ１１Ｂ、ＲＡＭ１１Ｃ、またはＨＤＤ１１Ｇによって構成される。なお、図５では１つの記憶部１１０が車載装置１００に含まれるように記載したが、複数の記憶媒体が記憶部１１０として機能しても良い。
　取得部１０１、決定部１０２、生成部１０３、圧縮部１０４、送信部１０５、受信部１０６、車両制御部１０７、表示制御部１０８、および受付部１０９は、例えば、ＲＯＭ１１ＢまたはＨＤＤ１１Ｇに記憶されたプログラムをＣＰＵ１１Ａが読み出すことにより、実行される機能である。あるいは、これらの機能を備えるハードウェア回路が車載装置１００に設けられても良い。
　取得部１０１は、車両１の状態を表す車両状態情報と、車両１に備えられたセンサによって計測されたセンサデータとを取得する。
　本実施形態において、車両１に備えられたセンサは、例えば、車載カメラ１６または送受波部１５とする。さらに具体的には、本実施形態では、車載カメラ１６をセンサとした場合の例について説明する。また、本実施形態では、車載カメラ１６によって撮影された画像データをセンサデータの一例として説明する。
　取得部１０１は、デバイスＩ／Ｆ１１Ｄを介して、車載カメラ１６から車両１の周囲を撮影した画像データを取得する。また、取得部１０１は、デバイスＩ／Ｆ１１Ｄを介して、送受波部１５から車両１の周囲の障害物と車両１との間の距離の測距データ、および障害物の検出結果を取得する。
　なお、センサは、車載カメラ１６および送受波部１５の両方、あるいは、送受波部１５のみでもよい。また、車両１はその他のセンサをさらに備えてもよい。センサが送受波部１５である場合は、センサデータは、送受波部１５による車両１の周囲の障害物と車両１との間の距離の測距データ、または障害物の検出結果であってもよい。
　本実施形態の車両状態情報は、少なくとも、車両１の車速を含む。取得部１０１は、ＣＡＮ　Ｉ／Ｆ１１Ｅを介して他のＥＣＵから車両１の車速を取得する。また、取得部１０１は、車両１に備えられた車輪速センサ等から車両１の車輪速を取得し、当該車輪速から車両１の車速を得てもよい。
　また、車両状態情報は、車速以外の情報を含んでもよい。例えば、車速、ＧＰＳ装置１１ｌによって計測された車両１のＧＰＳ位置情報、車両１のギヤの状態、操舵角、車両１の周囲の照度等の周辺情報、車両１の周囲の天候情報、および車両１のワイパーの動作状態のうちの少なくとも１つが車両状態情報に含まれるものとしてもよい。これらの情報は、取得部１０１によって車両１の各装置から取得される。ＧＰＳ位置情報は、車両１の現在位置の特性を特定するために用いられる。例えば、取得部１０１は、地図データと車両１のＧＰＳ位置情報とから、車両１の現在位置の特性を得てもよい。地図データは、例えば、インターネット等を介して車載装置１００と接続する外部装置に記憶されていてもよいし、車載装置１００の記憶部１１０が記憶していてもよい。車両１の現在位置の特性は、例えば、駐車場、一般道路、および高速道路等の分類である。
　決定部１０２は、車両状態情報に応じてセンサデータの圧縮率を決定する。例えば、決定部１０２は、車両状態情報に含まれる車速が第１の閾値以下の場合は、センサデータを低圧縮率で圧縮することを決定する。また、決定部１０２は、車両状態情報に含まれる車速が第１の閾値より速い場合は、センサデータを高圧縮率で圧縮することを決定する。低圧縮率は、本願出願における第１の圧縮率の一例である。また、高圧縮率は、本願出願における第２の圧縮率の一例である。低圧縮率および高圧縮率の具体的な数値は特に限定されるものではなく、高圧縮率が低圧縮率より高ければよい。第１の閾値の値は特に限定されるものではない。
　また、本実施形態において、圧縮率は低圧縮率と高圧縮率の２段階とするが、圧縮率は３段階以上に分かれてもよい。例えば、決定部１０２は、車速が速いほど圧縮率が高くなるように、段階的に圧縮率を決定してもよい。
　車速が速い場合、車載装置１００は、車両１の走行制御のため、クラウドサーバ２からのＡＤＡＳ処理の結果を迅速に得た方がよい。センサデータの圧縮率が高いほど、圧縮されたセンサデータの車両１とクラウドサーバ２間の送信時間が短くなる。このため、決定部１０２は、車速が速い場合に車速が遅い場合よりもセンサデータの圧縮率を高くし、圧縮後のセンサデータをクラウドサーバ２に迅速に送信する。
　なお、本実施形態における圧縮の方式は特に限定されないが、基本的に、不可逆圧縮とする。このため、車両１からクラウドサーバ２に送信された圧縮済みのセンサデータは、クラウドサーバ２によって展開された後も、圧縮前の状態よりもデータサイズが小さくなる。クラウドサーバ２が車両１から送信された画像データに基づいて歩行者検知処理を実行する場合、画像データのサイズが大きいほど、高精度の歩行者検知が可能となる。例えば、車両１が低速で走行している場合、車両１が駐車直前の状態か、道幅の狭い道路を走行している場合が想定される。このような場合、歩行者の飛び出し等の可能性が高いため、クラウドサーバ２は、高解像度の画像データによって高精度の歩行者検知を実行する。
　また、決定部１０２は、車速以外の車両状態情報に応じてセンサデータの圧縮率を決定してもよい。例えば、決定部１０２は、車両１のワイパーが連続して動作している場合、雨が降っている可能性が高い。天候が雨の場合には、運転者による車両１の周囲の視認性が低下する。このような場合、クラウドサーバ２による歩行者検知の精度を向上させるため、決定部１０２は、画像データの圧縮率を低圧縮率に決定する。また、決定部１０２は、車両１の現在位置が駐車場である場合、クラウドサーバ２による歩行者や周囲の他の車両の検知の精度を向上させるため、画像データの圧縮率を低圧縮率に決定してもよい。
　また、決定部１０２は、複数の情報の組み合わせ、例えば車速と車両１の現在位置の特性との組み合わせに応じて、センサデータの圧縮率を決定してもよい。
　また、決定部１０２は、圧縮率の他に、センサデータの種々の特性を車両状態情報に応じて決定してもよい。例えば、決定部１０２は、画像データが動画である場合であって、車速が第１の閾値以下の場合は、画像データのフレームレートを低フレームレート、画像データの解像度を高解像度に決定に決定する。また、決定部１０２は、車速が第１の閾値より速い場合は、画像データのフレームレートを高フレームレート、画像データの解像度を低解像度に決定する。
　低フレームレートは本実施形態における第１のフレームレートの一例である。また、高フレームレートは本実施形態における第１のフレームレートの一例である。低フレームレートおよび高フレームレートの具体的な値は特に限定されず、高フレームレートの方が低フレームレートよりも高ければよい。高解像度は本実施形態における第１の解像度の一例である。低解像度は本実施形態における第２の解像度の一例である。高解像度および低解像度の具体的な値は特に限定されず、高解像度の方が低解像度よりも高ければよい。なお、決定部１０２が決定する解像度は、画像データが圧縮された後に、クラウドサーバ２において展開された状態における解像度である。なお、画像データが静止画である場合は、決定部１０２は、フレームレートについては決定せず、解像度について決定する。
　また、本実施形態においてはフレームレートおよび解像度は２段階とするが、フレームレートおよび解像度は３段階以上に分かれてもよい。例えば、決定部１０２は、車速が速いほどフレームレートが高くなるように、段階的にフレームレートを決定してもよい。また、決定部１０２は、車速が遅いほど解像度が高くなるように、段階的に解像度を決定してもよい。一般に、車両１の車速が速いほど、画像データの動きが多くなる。決定部１０２がフレームレートを高く設定することにより、クラウドサーバ２における当該画像データ内の動きの検知漏れを低減させることができる。
　生成部１０３は、センサデータに決定部１０２により決定された圧縮率を付加したヘッダ付きセンサデータを生成する。ヘッダ付きセンサデータは、本実施形態における圧縮率付きセンサデータの一例である。
　また、決定部１０２が車両状態情報に応じて画像データのフレームレートおよび解像度を決定する場合、生成部１０３は、画像データを決定部１０２により決定されたフレームレートに編集する。また、生成部１０３は、画像データの圧縮および展開後に、画像データが決定部１０２により決定された解像度になるように画像データの解像度を調整してもよい。
　図６は、第１の実施形態に係るヘッダ付きセンサデータ４００の一例を示す図である。図６に示すように、ヘッダ付きセンサデータ４００は、本体部であるセンサデータ４２０に付帯するヘッダデータ４１０として圧縮率が付与されたデータである。
　なお、ヘッダ付きセンサデータ４００は、圧縮率以外のデータをヘッダデータ４１０に含んでもよい。図６に示す例では、ヘッダデータ４１０は、画像データの圧縮率、画像データのフレームレート、および画像データの解像度を含む。画像データの圧縮率、画像データのフレームレート、および画像データの解像度は、画像データのメタデータの一例である。センサデータが画像データではない場合は、メタデータの内容は図６に示す例とは異なる場合がある。
　なお、図６に示すヘッダ付きセンサデータ４００では、画像データであるセンサデータ４２０のヘッダデータ４１０に圧縮率等のメタデータが含まれるが、圧縮率等のメタデータはセンサデータ４２０に対応付けられていればよく、必ずしもヘッダデータ４１０としてセンサデータ４２０に付加されなくともよい。
　図５に戻り、圧縮部１０４は、車両状態情報に応じた異なる圧縮率でセンサデータを圧縮する。より詳細には、圧縮部１０４は、生成部１０３によって生成されたヘッダ付きセンサデータ４００を、決定部１０２により決定された圧縮率で圧縮する。
　送信部１０５は、ＮＷ　Ｉ／Ｆ１１Ｆを介して、圧縮率を、圧縮されたセンサデータ４２０に対応付けてクラウドサーバ２に送信する。より詳細には、送信部１０５は、圧縮部１０４により圧縮されたヘッダ付きセンサデータ４００をクラウドサーバ２に送信する。
　受信部１０６は、ＮＷ　Ｉ／Ｆ１１Ｆを介して、クラウドサーバ２から、車両１の走行を制御する車両制御データを受信する。車両制御データは、例えば、ＡＤＡＳによる処理結果である。具体的には、車両制御データは、車両１の周囲の障害物の検知結果、車両１の制動操作を指示する信号、車両１の操舵を指示する信号、または車両１の車速を指示する信号等である。
　車両制御部１０７は、受信部１０６が受信した車両制御データに基づいて、車両１の走行を制御する。例えば、車両制御部１０７は、車両制御データに基づいて、車両１の操舵、制動、および加減速を制御する。また、車両制御部１０７は、車両制御データに基づく制御の他に、車載カメラ１６が車両１の周囲を撮影した画像、および送受波部１５が検知した車両１の周囲の障害物との距離に基づいて、車両１の走行を制御してもよい。
　表示制御部１０８は、表示装置１２０に各種の画像およびＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を表示させる。また、表示制御部１０８は、受信部１０６が受信した車両制御データに基づいて、障害物検知の警告を表示装置１２０に表示させてもよい。
　受付部１０９は、操作ボタン１４１を介して車両１の運転者からの各種の操作を受け付ける。また、表示装置１２０がタッチパネルを備える場合、受付部１０９は、当該タッチパネルに入力された車両１の運転者からの各種の操作を受け付ける。
　次に、クラウドサーバ２の機能について説明する。
　図７は、第１の実施形態に係るクラウドサーバ２の機能の一例を示すブロック図である。
　図７に示すように、クラウドサーバ２は、受信部２０１、ＡＤＡＳ処理部２００、送信部２０５、および記憶部２１０を備える。ＡＤＡＳ処理部２００は、本実施形態における制御処理部の一例である。
　記憶部２１０は、例えばクラウド環境のＲＯＭ、ＲＡＭ、またはＨＤＤによって構成される。
　受信部２０１、ＡＤＡＳ処理部２００、および送信部２０５は、例えば、記憶部２１０に記憶されたプログラムをクラウド環境のＣＰＵが読み出すことにより、実行される機能である。
　受信部２０１は、車両１に搭載された車載装置１００から、圧縮されたセンサデータ４２０および当該センサデータ４２０の圧縮率を受信する。より詳細には、受信部２０１は、車両１に搭載された車載装置１００から、圧縮されたヘッダ付きセンサデータ４００を受信する。
　ＡＤＡＳ処理部２００は、センサデータ４２０の圧縮率に応じて、異なる処理を実行する。より詳細には、ＡＤＡＳ処理部２００は、圧縮されたヘッダ付きセンサデータ４００に含まれる圧縮率に応じて、異なる処理を実行する。
　図７に示す例では、ＡＤＡＳ処理部２００は、障害物検知部２０２、学習部２０３、および推定部２０４を含む。これらの機能部は、ＡＤＡＳ処理部２００が実行するＡＤＡＳ機能の一例である。なお、ＡＤＡＳ処理部２００に含まれる機能部はこれらに限定されない。
　障害物検知部２０２は、センサデータ４２０の圧縮率に応じて、センサデータ４２０から障害物を検知する処理における障害物検知用の閾値を変更する。以下、障害物検知用の閾値を検知閾値という。なお、障害物検知部２０２は、圧縮されたセンサデータ４２０を展開した上で、障害物検知に用いる。
　例えば、障害物検知部２０２は、センサデータ４２０の圧縮率が第２の閾値以下の場合、低圧縮率用検知閾値を用いてセンサデータ４２０に基づく障害物検知を実行する。また、障害物検知部２０２は、センサデータ４２０の圧縮率が第２の閾値より高い場合、高圧縮率用検知閾値を用いてセンサデータ４２０に基づく障害物検知を実行する。
　低圧縮率用検知閾値は、本実施形態における第１の検知閾値の一例である。高圧縮率用検知閾値は、本実施形態における第２の検知閾値の一例である。高圧縮率用検知閾値は、第低圧縮率用検知閾値より低い値とする。つまり、障害物検知部２０２は、センサデータ４２０の圧縮率が高い場合に、センサデータ４２０の圧縮率が低い場合よりも、「車両１の周囲に障害物が存在する」と判定しやすい。センサデータ４２０が画像データである場合、圧縮率が高い画像データの方が、圧縮率が低い画像データよりも、解像度が低くなる。このため、障害物検知部２０２は、圧縮率が高い画像データを用いる場合は障害物検知のための検知閾値を低く、障害物の検知漏れを低減する。なお、検知閾値の高さは２段階以上に分かれていてもよい。
　また、障害物検知部２０２は、検知した障害物を回避するための車両１の制動操作を指示する信号、車両１の操舵を指示する信号、または車両１の車速を指示する信号等を生成してもよい。
　学習部２０３は、車載装置１００から送信されたセンサデータを学習する。学習の手法は、例えば、学習モデルを用いた深層学習等であるが、これに限定されるものではない。なお、学習部２０３は、圧縮されたセンサデータ４２０を展開した上で、学習に用いる。
　学習部２０３は、センサデータ４２０の圧縮率に応じて、異なる学習モデルを用いる。例えば、学習部２０３は、センサデータ４２０の圧縮率が第２の閾値以下の場合、低圧縮率用学習モデルに、センサデータ４２０を学習させる。また、学習部２０３は、センサデータ４２０の圧縮率が第２の閾値より高い場合、高圧縮率用学習モデルにセンサデータ４２０を学習させる。低圧縮率用学習モデルは、本実施形態における第１の学習モデルの一例である。高圧縮率用学習モデルは、本実施形態における第２の学習モデルの一例である。学習部２０３は、低圧縮率用学習モデルおよび高圧縮率用学習モデルを、例えば記憶部２１０に保存する。
　学習モデルに入力される学習データの条件が統一されていることで、学習モデルの学習精度が向上する。上述のように、センサデータ４２０が画像データである場合、圧縮率が高い画像データの方が、圧縮率が低い画像データよりも、解像度が低くなる。このため、学習部２０３が、センサデータ４２０の圧縮率に応じて、異なる学習モデルを用いることにより、圧縮率が異なる複数のセンサデータ４２０を１つの学習モデルに入力するよりも、学習モデルの学習精度が向上する。なお、学習モデルの数は２つに限らず、３つ以上であってもよい。
　推定部２０４は、学習部２０３によって学習された低圧縮率用学習モデルおよび高圧縮率用学習モデルを用いて、推定処理を実行する。推定処理の内容は、例えば、障害物検知でもよいし、前方衝突警告でもよい。
　例えば、推定部２０４は、センサデータ４２０の圧縮率が第２の閾値以下の場合、学習済みの低圧縮率用学習モデルにセンサデータ４２０を入力し、学習済みの低圧縮率用学習モデルからの出力を推定結果として得る。また、推定部２０４は、センサデータ４２０の圧縮率が第２の閾値より高い場合、学習済みの高圧縮率用学習モデルにセンサデータ４２０を入力し、学習済みの高圧縮率用学習モデルからの出力を推定結果として得る。
　なお、学習部２０３と推定部２０４とが同時に機能しなくともよい。例えば、低圧縮率用学習モデルおよび高圧縮率用学習モデルに規定の閾値以上のセンサデータ４２０が学習されるまでが、推定部２０４は機能しなくともよい。また、図７では障害物検知部２０２と推定部２０４を別個の機能部として図示したが、障害物検知部２０２が学習部２０３によって学習された低圧縮率用学習モデルおよび高圧縮率用学習モデルを用いて、障害物検知を実行してもよい。
　なお、センサデータ４２０の圧縮率に応じた処理の変化は、上述の例に限定されない。ＡＤＡＳ処理部２００は、センサデータ４２０の圧縮率に応じて処理のアルゴリズムを変更してもよい。また、ＡＤＡＳ処理部２００は、圧縮率以外のメタデータに応じて、異なる処理を実行してもよい。例えば、ＡＤＡＳ処理部２００は、ヘッダ付きセンサデータ４００のヘッダデータ４１０に含まれるフレームレートまたは解像度に応じて、処理に用いる検知閾値、学習モデル、またはアルゴリズムを変更してもよい。
　送信部２０５は、ＡＤＡＳ処理部２００による処理の結果である車両制御データを、車載装置１００に送信する。例えば、送信部２０５は、障害物検知部２０２による障害物の検知結果を車載装置１００に送信する。また、送信部２０５は、障害物検知部２０２によって生成された車両１の制動操作を指示する信号、車両１の操舵を指示する信号、または車両１の車速を指示する信号を車載装置１００に送信してもよい。
　次に、以上のように構成された車載装置１００で実行されるセンサデータ４２０の送信処理の流れについて説明する。
　図８は、第１の実施形態に係るセンサデータ４２０の送信処理の流れの一例を示すフローチャートである。このフローチャートの処理は、例えば、車載装置１００が車両１のイグニッション電源から電力供給を受けている場合、イグニッション電源がオン状態の場合に開始する。また、車載装置１００が車両１のアクセサリー電源から電力供給を受けている場合、このフローチャートの処理は、アクセサリー電源がオン状態の場合に開始する。
　まず、取得部１０１は、車両１の車速等の車両状態情報を取得する（Ｓ１０１）。また、取得部１０１は、センサデータ４２０を取得する（Ｓ１０２）。
　次に、決定部１０２は、車両１が走行中であるか否かを判定する（Ｓ１０３）。例えば、決定部１０２は、取得部１０１によって取得された車両１の車速が閾値以上の場合に、車両１が走行中であると判定する。なお、決定部１０２は、アクセルペダルの動作状態等に基づいて車両１の走行の有無を判定してもよい。
　車両１が走行中ではないと決定部１０２が判定した場合（Ｓ１０３“Ｎｏ”）、Ｓ１０１の処理に戻る。車両１が走行を開始しない場合は、Ｓ１０１～Ｓ１０３の処理が繰り返し実行される。なお、車両１が走行中ではない場合、取得部１０１は、センサデータ４２０を取得しなくともよい。
　また、車両１が走行中であると判定した場合（Ｓ１０３“Ｙｅｓ”）、決定部１０２は、車両状態情報に応じて、センサデータ４２０の圧縮率、フレームレート、および解像度を決定する（Ｓ１０４）。
　次に、生成部１０３は、決定部１０２によって決定されたフレームレート、および解像度に応じて、センサデータ４２０を編集する（Ｓ１０５）。
　次に、生成部１０３は、センサデータ４２０のヘッダに、決定部１０２によって決定された圧縮率、フレームレート、および解像度を記述する（Ｓ１０６）。
　次に、圧縮部１０４は、ヘッダ付きセンサデータ４００を、決定部１０２によって決定された圧縮率で圧縮する（Ｓ１０７）。
　次に、送信部１０５は、圧縮されたヘッダ付きセンサデータ４００を、クラウドサーバ２に送信する（Ｓ１０８）。
　そして、車両１のイグニッション電源またはアクセサリー電源がオン状態の場合は（Ｓ１０９“Ｎｏ”）、Ｓ１０１の処理に戻り、このフローチャートの処理が繰り返される。また、車両１のイグニッション電源またはアクセサリー電源がオフ状態となった場合は（Ｓ１０９“Ｙｅｓ”）、このフローチャートの処理は終了する。
　次に、クラウドサーバ２で実行されるＡＤＡＳ処理の流れについて説明する。
　図９は、第１の実施形態に係るクラウドサーバ２で実行されるＡＤＡＳ処理の流れの一例を示すフローチャートである。クラウドサーバ２によるＡＤＡＳ処理は、基本的に、常時開始可能な状態であり、車載装置１００からのヘッダ付きセンサデータ４００の受信を待機している。
　クラウドサーバ２の受信部２０１が車両１に搭載された車載装置１００からヘッダ付きセンサデータ４００を受信した場合であって（Ｓ２０１“Ｙｅｓ”）、かつ、圧縮率が第２の閾値以下の場合（Ｓ２０２“Ｙｅｓ”）、クラウドサーバ２のＡＤＡＳ処理部２００に含まれる障害物検知部２０２、学習部２０３、および推定部２０４は、低圧縮率用検知閾値、低圧縮率用学習モデル、および低圧縮率用アルゴリズムを適用して各種のＡＤＡＳ処理を実行する（Ｓ２０３）。
　また、受信部２０１が車両１に搭載された車載装置１００からヘッダ付きセンサデータ４００を受信した場合であって（Ｓ２０１“Ｙｅｓ”）、かつ、圧縮率が第２の閾値より高い場合（Ｓ２０２“Ｎｏ”）、クラウドサーバ２のＡＤＡＳ処理部２００に含まれる障害物検知部２０２、学習部２０３、および推定部２０４は、高圧縮率用検知閾値、高圧縮率用学習モデル、および高圧縮率用アルゴリズムを適用してＡＤＡＳ処理を実行する（Ｓ２０４）。
　Ｓ２０３およびＳ２０４の処理の後、クラウドサーバ２の送信部２０５は、ＡＤＡＳ処理部２００による処理の結果である車両制御データを、車載装置１００に送信する（Ｓ２０５）。
　そして、ＡＤＡＳ処理が終了せずに継続する場合（Ｓ２０６“Ｎｏ”）、Ｓ２０１の処理に戻り、このフローチャートの処理が繰り返される。また、ＡＤＡＳ処理が終了する場合（Ｓ２０６“Ｙｅｓ”）、このフローチャートの処理は終了する。クラウドサーバ２によるＡＤＡＳ処理が終了する場合とは、例えば、管理者によりクラウドサーバ２が停止させられた場合等である。
　このように、本実施形態の車載装置１００は、車両１の車両状態情報に応じた異なる圧縮率でセンサデータ４２０を圧縮し、当該圧縮率を、圧縮されたセンサデータ４２０に対応付けて送信する。このため、本実施形態の車載装置１００から圧縮後のセンサデータを受信したクラウドサーバ２またはエッジサーバは、センサデータの圧縮率に応じた処理を実行可能である。
　比較例として、車両状態情報に応じた異なる圧縮率でセンサデータを圧縮し、圧縮したセンサデータのみをクラウドサーバまたはエッジサーバに送信した場合、当該圧縮されたセンサデータを受信したクラウドサーバまたはエッジサーバ等の側では、受信した圧縮されたセンサデータの圧縮率を特定できないため、圧縮率に応じて処理を変更することは困難であった。このため、比較例では、圧縮率が異なるためにデータサイズ等がバラバラなセンサデータに対して同一の処理を施すことになる。これに対して、本実施形態の車載装置１００は、圧縮率を、圧縮されたセンサデータ４２０に対応付けて送信するため、当該圧縮されたセンサデータ４２０を受信したクラウドサーバ２またはエッジサーバの方で、圧縮率に応じて処理を分けることが可能となり、処理結果の精度を向上させることができる。
　また、本実施形態の車載装置１００は、取得したセンサデータに車両状態情報に応じて決定した圧縮率をヘッダデータとして付加したヘッダ付きセンサデータ４００を生成し、当該ヘッダ付きセンサデータ４００を、決定した圧縮率で圧縮し、圧縮されたヘッダ付きセンサデータ４００を送信する。このため、本実施形態の車載装置１００によれば、圧縮率とセンサデータ４２０とを一体としてクラウドサーバ２等に送信できるため、受信側での圧縮率とセンサデータ４２０との対応関係の把握が容易となる。
　また、本実施形態において、車両状態情報は、少なくとも、車両１の車速を含む。本実施形態の車載装置１００は、車速が第１の閾値以下の場合は、センサデータ４２０を低圧縮率で圧縮することを決定し、車速が第１の閾値より速い場合は、センサデータ４２０を高圧縮率で圧縮することを決定する。このため、本実施形態の車載装置１００によれば、車両１の車速が早い場合にはセンサデータ４２０の圧縮率を高めてクラウドサーバ２等へのデータ送信時間を短縮することにより、クラウドサーバ２等からの処理結果を迅速に得ることができる。また、本実施形態の車載装置１００によれば、車両１の車速が遅い場合には、センサデータ４２０の圧縮率を低く抑えてセンサデータ４２０の劣化を低減し、クラウドサーバ２等におけるＡＤＡＳ処理の精度向上させることができる。つまり、本実施形態の車載装置１００は、車両１の車速に応じて、データ送信速度と、ＡＤＡＳ処理の精度とのバランスを適切に調整することができる。
　また、本実施形態において、センサデータ４２０は、少なくとも、車両１の周囲を撮影した画像データを含む。本実施形態の車載装置１００は、車両１の車速が第１の閾値以下の場合は、画像データのフレームレートを低フレームレート、画像データの解像度を高解像度に決定する。また、本実施形態の車載装置１００は、車両１の車速が第１の閾値より速い場合は、画像データのフレームレートを高フレームレート、画像データの解像度を低解像度に決定する。このため、本実施形態の車載装置１００によれば、圧縮率によるデータ送信速度とＡＤＡＳ処理の精度とのバランスの調整に加えて、さらに、フレームレートと解像度によって、車両１の車速に応じたデータ送信速度とＡＤＡＳ処理の精度とのバランスの調整をすることができる。
　また、本実施形態の車両状態情報は、車両１の車速、車両１の位置、車両１のギヤの状態、車両１の操舵角、車両１の周囲の照度、車両１の周囲の天候情報、および、車両１のワイパーの動作状態のうちの少なくとも１つを含む。このため、本実施形態の車載装置１００によれば、車速だけではなく、車両１の様々な状態に応じて、データ送信速度と、ＡＤＡＳ処理の精度とのバランスを適切に調整することができる。
　また、本実施形態のクラウドサーバ２は、車載装置１００から、圧縮されたセンサデータ４２０および当該センサデータ４２０の圧縮率を受信し、センサデータ４２０の圧縮率に応じて、異なる処理を実行する。このため、本実施形態のクラウドサーバ２によれば、圧縮率に応じて処理を分けることができ、処理結果の精度を向上させることができる。
　また、本実施形態のクラウドサーバ２は、センサデータ４２０の圧縮率が第２の閾値以下の場合、低圧縮率用検知閾値を用いてセンサデータ４２０に基づく障害物検知を実行し、センサデータ４２０の圧縮率が第２の閾値より高い場合、高圧縮率用検知閾値を用いてセンサデータ４２０に基づく障害物検知を実行する。このため、本実施形態のクラウドサーバ２によれば、圧縮率が高い画像データを用いる場合は障害物検知のための検知閾値を低くすることにより、障害物の検知漏れを低減することができる。
　また、本実施形態のクラウドサーバ２は、圧縮率が第２の閾値以下の場合、低圧縮率用学習モデルにセンサデータ４２０を学習させ、圧縮率が第２の閾値より高い場合、高圧縮率用学習モデルにセンサデータ４２０を学習させる。このため、本実施形態のクラウドサーバ２によれば、圧縮率に応じて異なる学習モデルを用いることにより、圧縮率が異なる複数のセンサデータ４２０を１つの学習モデルに入力するよりも、学習モデルの学習精度を向上させることができる。
　（第２の実施形態）
　上述の第１の実施形態では、クラウドサーバ２が、車載装置１００から送信されたセンサデータ４２０に基づいてＡＤＡＳ処理を実行していたが、ＡＤＡＳ処理の実行主体はクラウドサーバ２に限定されるものではない。例えば、エッジサーバがＡＤＡＳ処理の実行主体であってもよい。
　図１０は、第２の実施形態に係る車両１、エッジサーバ３、およびクラウドサーバ２の間の情報通信の一例を示す図である。本実施形態においては、エッジサーバ３およびクラウドサーバ２が、情報処理装置の一例となる。
　エッジサーバ３は、エッジコンピューティング技術により、車載装置１００の処理を保管可能なコンピュータである。エッジサーバ３は、例えば、ＣＰＵ等のプロセッサおよびＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置を備える。エッジサーバ３は、例えば、通信基地局や交通インフラ設備内等に設けられ、車両１に搭載された車載装置１００およびクラウドサーバ２と相互に情報通信する。
　例えば、本実施形態においては、図７に図示した第１の実施形態におけるクラウドサーバ２のＡＤＡＳ処理部２００のうち、障害物検知部２０２および推定部２０４がエッジサーバ３に備えられる。また、図７に図示した第１の実施形態におけるクラウドサーバ２のＡＤＡＳ処理部２００のうち、学習部２０３がクラウドサーバ２に備えられる。また、図７に図示した第１の実施形態におけるクラウドサーバ２の受信部２０１、送信部２０５、および記憶部２１０に相当する機能部は、エッジサーバ３およびクラウドサーバ２の両方が備えるものとする。
　エッジサーバ３の受信部は、車載装置１００から圧縮されたヘッダ付きセンサデータ４００を受信する。エッジサーバ３の障害物検知部２０２および推定部２０４は、第１の実施形態におけるクラウドサーバ２の障害物検知部２０２および推定部２０４と同様に、圧縮率に応じた処理を実行する。また、エッジサーバ３の送信部は、障害物検知部２０２または推定部２０４による処理結果に基づく車両制御データを車両１に送信する。また、エッジサーバ３の送信部は、車載装置１００から受信した圧縮されたヘッダ付きセンサデータ４００をクラウドサーバ２に送信する。
　クラウドサーバ２の受信部は、エッジサーバ３から圧縮されたヘッダ付きセンサデータ４００を受信する。クラウドサーバ２の学習部２０３は、第１の実施形態と同様に、ヘッダ付きセンサデータ４００の圧縮率に応じた学習モデルで学習を実行する。また、クラウドサーバ２の送信部は、学習部２０３によって学習された学習済みモデルを、エッジサーバ３に送信する。当該学習済みモデルは、例えば、エッジサーバ３の推定部２０４または障害物検知部２０２で使用される。
　このように障害物検知部２０２および学習部２０３をエッジサーバ３が備えることにより、クラウドサーバ２で処理をするよりも迅速に、ヘッダ付きセンサデータ４００に基づく処理結果である車両制御データを車載装置１００に送信することができる。
　また、一般に、エッジサーバ３よりもクラウドサーバ２の方が記憶容量の制限が少ないため、処理に時間を要しても車両１の走行制御に影響のない学習処理については、クラウドサーバ２が実行することにより、大量のセンサデータ４２０の学習が可能となる。
　なお、図１０では、エッジサーバ３およびクラウドサーバ２の両方が用いられる場合について図示したが、あるいは、クラウドサーバ２がなく、エッジサーバ３と車載装置１００のみで処理が行われる構成が採用されてもよい。この場合、エッジサーバ３が情報処理装置の一例となる。
　（第３の実施形態）
　上述の第２の実施形態では、エッジサーバ３は車両１の外部に設けられるものとしたが、エッジサーバ３は車両１内に設けてもよい。図１１は、第３の実施形態に係る車両１、エッジサーバ３、およびクラウドサーバ２の間の情報通信の一例を示す図である。
　図１１に示すように、本実施形態のエッジサーバ３は、車載装置１００と同様に、車両１に搭載される。このようにエッジサーバ３が車両１に搭載されることにより、車載装置１００とエッジサーバ３とが車両１内で有線接続することが可能となり、通信速度の向上が見込まれる。
　上述の各実施形態の車載装置１００、クラウドサーバ２、およびエッジサーバ３の各機能は、例えば、ＣＰＵがプログラムを実行することにより実現される。上述の各実施形態の車載装置１００、クラウドサーバ２、およびエッジサーバ３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、上述の各実施形態の車載装置１００、クラウドサーバ２、およびエッジサーバ３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述の各実施形態の車載装置１００、クラウドサーバ２、およびエッジサーバ３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　また、上述の各実施形態の車載装置１００、クラウドサーバ２、およびエッジサーバ３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　１　車両
　２　クラウドサーバ
　３　エッジサーバ
　１５，１５ｆ，１５ｒ　送受波部
　１６，１６ａ～１６ｃ　車載カメラ
　１００　車載装置
　１０１　取得部
　１０２　決定部
　１０３　生成部
　１０４　圧縮部
　１０５　送信部
　１０６　受信部
　１０７　車両制御部
　１０８　表示制御部
　１０９　受付部
　１１０　記憶部
　１２０　表示装置
　２００　ＡＤＡＳ処理部
　２０１　受信部
　２０２　障害物検知部
　２０３　学習部
　２０４　推定部
　２０５　送信部
　２１０　記憶部
　４００　ヘッダ付きセンサデータ
　４１０　ヘッダデータ
　４２０　センサデータ

Claims (13)

  1. 　車両の状態を表す車両状態情報と、前記車両に備えられたセンサによって計測されたセンサデータとを取得する取得部と、
    　前記車両状態情報に応じた異なる圧縮率で前記センサデータを圧縮する圧縮部と、
    　前記圧縮率を、圧縮された前記センサデータに対応付けて送信する送信部と、
    　を備える車載装置。
  2. 　前記車両状態情報に応じて前記センサデータの圧縮率を決定する決定部と、
    　前記センサデータに前記決定部により決定された前記圧縮率を付加した圧縮率付きセンサデータを生成する生成部と、をさらに備え、
    　前記圧縮部は、前記圧縮率付きセンサデータを、前記決定部により決定された前記圧縮率で圧縮し、
    　前記送信部は、圧縮された前記圧縮率付きセンサデータを送信する、
    　請求項１に記載の車載装置。
  3. 　前記車両状態情報は、少なくとも、前記車両の車速を含み、
    　前記決定部は、
    　前記車速が第１の閾値以下の場合は、前記センサデータを第１の圧縮率で圧縮することを決定し、
    　前記車速が前記第１の閾値より速い場合は、前記センサデータを前記第１の圧縮率より高い第２の圧縮率で圧縮することを決定する、
    　請求項２に記載の車載装置。
  4. 　前記センサデータは、少なくとも、前記車両の周囲を撮影した画像データを含み、
    　前記決定部は、
    　前記車速が前記第１の閾値以下の場合は、前記画像データのフレームレートを第１のフレームレートに決定し、
    　前記車速が前記第１の閾値より速い場合は、前記画像データのフレームレートを前記第１のフレームレートよりも高い第２のフレームレートに決定し、
    　前記生成部は、前記決定部により決定されたフレームレートに基づいて前記画像データを編集する、
    　請求項３に記載の車載装置。
  5. 　前記センサデータは、少なくとも、前記車両の周囲を撮影した画像データを含み、
    　前記決定部は、
    　前記車速が前記第１の閾値以下の場合は、前記画像データの解像度を第１の解像度に決定し、
    　前記車速が前記第１の閾値より速い場合は、前記画像データの解像度を前記第１の解像度よりも低い第２の解像度に決定し、
    　前記生成部は、前記決定部により決定された解像度に基づいて前記画像データを編集する、
    　請求項３または４に記載の車載装置。
  6. 　前記車両状態情報は、前記車両の車速、前記車両の位置、前記車両のギヤの状態、前記車両の操舵角、前記車両の周囲の照度、前記車両の周囲の天候情報、および、前記車両のワイパーの動作状態のうちの少なくとも１つを含む、
    　請求項１または２に記載の車載装置。
  7. 　車両に搭載された車載装置から、圧縮されたセンサデータおよび当該センサデータの圧縮率を受信する受信部と、
    　前記センサデータの圧縮率に応じて、異なる処理を実行する制御処理部と、
    　を備える情報処理装置。
  8. 　前記圧縮率が第２の閾値以下の場合、第１の検知閾値を用いて前記センサデータに基づく障害物検知を実行し、前記圧縮率が第２の閾値より高い場合、前記第１の検知閾値より低い第２の検知閾値を用いて前記センサデータに基づく障害物検知を実行する障害物検知部、を備える、
    　請求項７に記載の情報処理装置。
  9. 　前記圧縮率が第２の閾値以下の場合、第１の学習モデルに前記圧縮されたセンサデータを学習させ、前記圧縮率が第２の閾値より高い場合、前記第１の学習モデルとは異なる第２の学習モデルに前記圧縮されたセンサデータを学習させる学習部、を備える、
    　請求項７または８に記載の情報処理装置。
  10. 　前記制御処理部は、前記圧縮されたセンサデータの圧縮率に応じて処理のアルゴリズムを変更する、
    　請求項７または８に記載の情報処理装置。
  11. 　前記制御処理部による処理の結果を、前記車載装置に送信する送信部、を備える、
    　請求項７または８に記載の情報処理装置。
  12. 　車両の状態を表す車両状態情報と、前記車両に備えられたセンサによって計測されたセンサデータとを取得する取得ステップと、
    　前記車両状態情報に応じた異なる圧縮率で前記センサデータを圧縮する圧縮ステップと、
    　前記圧縮率を、圧縮された前記センサデータに対応付けて送信する送信ステップと、
    　を含むセンサデータ送信方法。
  13. 　車両に搭載された車載装置から、圧縮されたセンサデータおよび当該センサデータの圧縮率を受信する受信ステップと、
    　前記センサデータの圧縮率に応じて、異なる処理を実行する制御処理ステップと、
    　を含む情報処理方法。
PCT/JP2022/026857 2021-11-11 2022-07-06 車載装置、情報処理装置、センサデータ送信方法、および情報処理方法 WO2023084842A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021184028A JP2023071336A (ja) 2021-11-11 2021-11-11 車載装置、情報処理装置、センサデータ送信方法、および情報処理方法
JP2021-184028 2021-11-11

Publications (1)

Publication Number Publication Date
WO2023084842A1 true WO2023084842A1 (ja) 2023-05-19

Family

ID=86335499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026857 WO2023084842A1 (ja) 2021-11-11 2022-07-06 車載装置、情報処理装置、センサデータ送信方法、および情報処理方法

Country Status (2)

Country Link
JP (1) JP2023071336A (ja)
WO (1) WO2023084842A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151352A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd 車載装置および配信局、並びにストリーミング配信システム
JP2016085619A (ja) * 2014-10-27 2016-05-19 株式会社日立製作所 画像処理装置、画像処理方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
WO2017163606A1 (ja) * 2016-03-23 2017-09-28 日立オートモティブシステムズ株式会社 物体認識装置
JP2018007038A (ja) * 2016-07-01 2018-01-11 株式会社ニコン 電子機器、自動車、撮像装置および画像記録装置
WO2018047231A1 (ja) * 2016-09-06 2018-03-15 日産自動車株式会社 駐車支援方法及び駐車支援装置
WO2019151427A1 (ja) * 2018-02-02 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報送信方法及びクライアント装置
WO2021131064A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置、画像処理方法、及びプログラム
JP2021111273A (ja) * 2020-01-15 2021-08-02 株式会社Mobility Technologies 学習モデルの生成方法、プログラム及び情報処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151352A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd 車載装置および配信局、並びにストリーミング配信システム
JP2016085619A (ja) * 2014-10-27 2016-05-19 株式会社日立製作所 画像処理装置、画像処理方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
WO2017163606A1 (ja) * 2016-03-23 2017-09-28 日立オートモティブシステムズ株式会社 物体認識装置
JP2018007038A (ja) * 2016-07-01 2018-01-11 株式会社ニコン 電子機器、自動車、撮像装置および画像記録装置
WO2018047231A1 (ja) * 2016-09-06 2018-03-15 日産自動車株式会社 駐車支援方法及び駐車支援装置
WO2019151427A1 (ja) * 2018-02-02 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報送信方法及びクライアント装置
WO2021131064A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置、画像処理方法、及びプログラム
JP2021111273A (ja) * 2020-01-15 2021-08-02 株式会社Mobility Technologies 学習モデルの生成方法、プログラム及び情報処理装置

Also Published As

Publication number Publication date
JP2023071336A (ja) 2023-05-23

Similar Documents

Publication Publication Date Title
US11615706B2 (en) System and method for driving assistance along a path
CN107618507B (zh) 车辆驾驶辅助设备
CN107415956B (zh) 用于检测和传送非连接车辆的打滑的系统和方法
JP4952530B2 (ja) 車両用制御装置
JP2007001402A (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
CN111587572A (zh) 图像处理装置、图像处理方法和程序
US10565072B2 (en) Signal processing device, signal processing method, and program
CN111464797A (zh) 行车辅助设备、方法、车辆及存储介质
GB2551436A (en) Adaptive rear view display
WO2023084842A1 (ja) 車載装置、情報処理装置、センサデータ送信方法、および情報処理方法
CN113614732A (zh) 信息处理设备及信息处理方法
US20240010231A1 (en) Apparatus for driver assistance and method of controlling the same
WO2023127463A1 (ja) 駐車支援装置および駐車支援方法
US20240123953A1 (en) Vehicle brake control
US11958497B2 (en) Guidance device, guidance control device, guidance method, and program
US11834035B2 (en) Parking assistance device, parking assistance method, and computer-readable medium
US20240025432A1 (en) Driver assistance system for vehicle
CN212086348U (zh) 行车辅助设备及车辆
US20230311865A1 (en) Control device
US20220262131A1 (en) Information recording device, information recording method, and storage medium
JP2022123421A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024015574A (ja) 車両の運転支援システム
JP2023005580A (ja) 移動体制御装置、移動体制御方法、およびプログラム
JP2023126711A (ja) 駐車支援装置および駐車支援方法
JP2023030497A (ja) 車両制御装置、システム、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892345

Country of ref document: EP

Kind code of ref document: A1