WO2020090285A1 - 通信装置、通信制御方法、及び非一時的なコンピュータ可読媒体 - Google Patents

通信装置、通信制御方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2020090285A1
WO2020090285A1 PCT/JP2019/037161 JP2019037161W WO2020090285A1 WO 2020090285 A1 WO2020090285 A1 WO 2020090285A1 JP 2019037161 W JP2019037161 W JP 2019037161W WO 2020090285 A1 WO2020090285 A1 WO 2020090285A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
vehicle
camera
communication
moving
Prior art date
Application number
PCT/JP2019/037161
Other languages
English (en)
French (fr)
Inventor
航生 小林
孝法 岩井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/288,191 priority Critical patent/US20210409650A1/en
Priority to JP2020554818A priority patent/JP7147867B2/ja
Publication of WO2020090285A1 publication Critical patent/WO2020090285A1/ja
Priority to JP2022149760A priority patent/JP7435682B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G08G1/093—Data selection, e.g. prioritizing information, managing message queues, selecting the information to be output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/02—Selection of wireless resources by user or terminal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station

Definitions

  • the present disclosure relates to a communication device, a communication control method, and a program.
  • an autonomous vehicle is equipped with various sensors for recognizing the presence or absence of a pedestrian or the presence or absence of another vehicle.
  • the various sensors are, for example, cameras or radars. Information detected by various sensors is used for operation control.
  • an autonomous driving control device when an autonomous driving control device detects an object in the vicinity of an autonomous driving vehicle, it transmits meta information about the object (object code, object size information, object position information, etc.) to a remote control device. Is described. When a plurality of objects are detected, the automatic driving control device sequentially transmits to the remote control device from the meta information regarding the objects of high importance. Objects closer to autonomous vehicles have higher importance.
  • Patent Document 2 describes a system in which a server collects images taken by an in-vehicle camera mounted on a vehicle.
  • the vehicle-mounted camera mounted on the vehicle starts moving image shooting based on a shooting point, a shooting direction, and the like instructed by the server to shoot a specific object.
  • the video bit rates of a plurality of vehicle-mounted cameras are determined when moving image shooting is started in the vehicle-mounted cameras.
  • the video bit rate assigned to each vehicle-mounted camera is determined in consideration of the vehicle position, traveling direction, or the like.
  • the automatic driving control device when a plurality of objects are detected, the automatic driving control device can determine an object of high importance and transmit the meta information of the objects of high importance in order.
  • the method disclosed in Patent Document 1 it is possible to judge the importance of each object, but it is not possible to judge the importance of each sensor such as an in-vehicle camera. Therefore, when the sensor information itself such as video data is transmitted instead of the meta information, it cannot be determined which sensor information should be preferentially transmitted.
  • Patent Document 2 controls the video bit rate of the vehicle-mounted camera based on the positional relationship between the vehicle-mounted camera and the specific object for the purpose of capturing the image of the specific object. Therefore, when it is difficult to specify or specify an object to be photographed in advance, such as remote monitoring of an autonomous vehicle, it is impossible to determine which vehicle-mounted camera video data should be preferentially transmitted.
  • An object of the present disclosure is to provide a communication device, a communication control method, and a program capable of transmitting sensor information acquired in a moving body such as a vehicle to a remote device or the like based on the importance of the sensor. ..
  • a communication device transmits sensor information detected using two or more sensors installed in a mobile body so that states in different directions can be detected from the mobile body as a base point.
  • a communication unit a moving state recognition unit for recognizing a moving state of the moving body, a peripheral state recognizing unit for recognizing a peripheral state of the moving body, and priorities of respective sensors based on the moving state and the peripheral state.
  • a communication control unit that performs communication control so that sensor information detected by a sensor having a high priority can be transmitted with higher quality than sensor information detected by a sensor having a low priority.
  • a communication control method recognizes a moving state of a moving body, recognizes a surrounding state of the moving body, and based on the moving state and the surrounding state, with the moving body as a base point. , Determining the priority of each of the two or more sensors installed in the moving body so as to be able to detect the states in different directions, and using the sensor information detected by the sensor of high priority in the sensor of low priority. Communication control is performed so that the sensor information can be transmitted with higher quality than the detected sensor information, and the sensor information is transmitted.
  • a program recognizes a moving state of a moving body, recognizes a surrounding state of the moving body, and based on the moving state and the surrounding state, with the moving body as a base point, The priority of each of the two or more sensors installed in the moving body so that the states in different directions can be detected is determined, and the sensor information detected by the sensor with high priority is detected by the sensor with low priority.
  • the communication control is performed so that the sensor information can be transmitted with higher quality than the sensor information, and the computer is caused to transmit the sensor information.
  • a communication device capable of transmitting sensor information acquired in a moving body such as a vehicle to a remote device or the like based on the importance of the sensor.
  • FIG. 3 is a configuration diagram of a communication device according to the first exemplary embodiment.
  • FIG. 6 is a configuration diagram of a communication system according to a second exemplary embodiment.
  • FIG. 7 is a diagram showing priorities determined by a communication control unit according to the second embodiment.
  • FIG. 7 is a diagram showing a flow of communication control processing in the communication device according to the second exemplary embodiment.
  • FIG. 9 is a configuration diagram of a communication device according to a third exemplary embodiment.
  • FIG. 16 is a diagram showing priorities determined by the communication control unit according to the fourth embodiment.
  • FIG. 16 is a diagram showing priorities determined by the communication control unit according to the fourth embodiment.
  • FIG. 16 is a diagram showing priorities determined by the communication control unit according to the fourth embodiment.
  • FIG. 9 is a configuration diagram of a communication device according to a fifth exemplary embodiment.
  • FIG. 10 is a configuration diagram of a communication system according to a sixth exemplary embodiment. It is a block diagram of the communication apparatus concerning each embodiment.
  • the communication device 10 may be a computer device that operates when a processor executes a program stored in a memory. Further, the communication device 10 may be installed in a mobile body.
  • the moving body may be a moving means such as a vehicle, a train, a construction machine, a vehicle including an automated guided vehicle (AGV), a manned airplane, an unmanned aerial vehicle (UAV), a ship, or the like.
  • AGV automated guided vehicle
  • UAV unmanned aerial vehicle
  • the communication device 10 includes a communication unit 11, a moving state recognition unit 12, a peripheral state recognition unit 13, and a communication control unit 14.
  • the components of the communication device 10, such as the communication unit 11, the moving state recognition unit 12, the peripheral state recognition unit 13, and the communication control unit 14, are software in which processing is executed by the processor executing the program stored in the memory. Alternatively, it may be a module. Alternatively, the components of the communication device 10 may be hardware such as a circuit or a chip.
  • the communication unit 11 transmits the sensor information obtained by two or more sensors installed in the mobile unit to the server device or the like via the network.
  • the two or more sensors are installed on the moving body so that they can detect states in different directions with respect to the moving body.
  • the different directions may be, for example, forward, backward, rightward, or leftward of the moving body.
  • the state detection may be, for example, detection of a person, detection of an obstacle, detection of another moving body, or detection of a traffic sign in each direction of the moving body.
  • Types of sensors include cameras, millimeter-wave radar, infrared sensors, ultrasonic sonar, or LiDAR (Light Detection and Ranging).
  • the above-mentioned two or more sensors may be sensors of the same type or may be sensors of different types.
  • Mobiles have two or more sensors installed.
  • the two or more sensors are installed so as to be able to detect changes in states in different directions, such as forward and backward, and further rightward and leftward.
  • a sensor installed in front of the moving body may detect a change in the front state
  • a sensor installed in the rear of the moving body may detect a change in the rear state.
  • each sensor may be installed so as to have a different detection area.
  • the detection area may be referred to as a sensing area, for example.
  • the communication unit 11 may send the sensor information to the server device via a wireless communication line.
  • the wireless communication line may be, for example, a mobile network such as 3G, 4G or LTE (Long Term Evolution), 5G whose specifications are defined in 3GPP (3rd Generation Partnership Project), and a wireless LAN (Local Area Network). ).
  • the communication unit 11 may transmit the sensor information to the server device via a wired communication line.
  • the server device may be a computer device that operates by the processor executing a program stored in the memory.
  • the server device may remotely monitor the moving body using, for example, the sensor information received from the communication device 10.
  • the moving state recognition unit 12 recognizes the moving state of the moving body.
  • the moving state may be information indicating the moving direction of the moving body.
  • the moving state may be information indicating whether the moving body is moving forward or backward.
  • the moving state may be information indicating whether the moving body is turning right and moving to the right or turning left and moving to the left.
  • the moving state may be information indicating the speed or acceleration of the moving body.
  • the moving state may be information indicating whether or not the moving state is stopped.
  • the moving state recognition unit 12 outputs information regarding the moving state to the communication control unit 14.
  • the peripheral state recognition unit 13 recognizes the peripheral state of the moving body.
  • the surrounding state may be, for example, when a moving body is a vehicle, the presence / absence of a pedestrian around the moving body, the presence / absence of another vehicle, the presence / absence of an obstacle, the presence / absence of a traffic sign, the presence / absence of a traffic signal, and the like. ..
  • the peripheral state may be, for example, information indicating a weather condition or the like around the mobile body when the mobile body is an airplane.
  • the peripheral state recognition unit 13 outputs information about the peripheral state to the communication unit 11.
  • the information about the peripheral state may include information indicating the direction of the peripheral state.
  • the direction here may be a relative direction based on the direction of the vehicle or an absolute direction based on magnetic north or true north.
  • the communication control unit 14 determines the priority of each sensor based on the moving state and the surrounding state. Further, the communication control unit 14 performs communication control so that the sensor information detected by the sensor with high priority can be transmitted with higher quality than the sensor information detected by the sensor with low priority.
  • the priority may be a continuous value or a discrete value, for example, two or more levels or stages may be defined.
  • the communication control unit 14 may determine the priority of each sensor, for example, according to the combination of the moving state and the peripheral state.
  • the communication control may be performed, for example, by allocating a larger communication band to sensor information having a higher priority than sensor information having a lower priority when transmitting the sensor information.
  • the communication control may be performed by transmitting the sensor information having a high priority at a timing earlier than the sensor information having a low priority.
  • the communication device 10 of FIG. 1 does not use only the peripheral state of the moving body, but uses the moving state and the surrounding state to detect the respective sensors in the two or more sensors installed in the moving body.
  • the priority can be determined. Therefore, for example, even if the communication device 10 indicates that no pedestrian exists around the moving body in the surrounding state, the priority of the sensor installed in the moving body is further considered in consideration of the moving state. Can be determined. Alternatively, even when it is indicated that there are pedestrians in the front and in the rear, respectively, in the surrounding state, it is possible to decide whether to prioritize the front sensor or the rear sensor in consideration of the moving state. ..
  • the communication device 10 further considers the movement state to determine the priority of the sensor. Can be optimized. As a result, the communication device 10 can determine the priority with high accuracy, and compares the sensor information with the low priority with the quality of the sensor information with the high priority transmitted to the server device or the like. Can be kept high.
  • the communication system of FIG. 2 includes a communication device 20, a vehicle 30, a server device 40, and a network 45.
  • the vehicle 30 is assumed to be equipped with the communication device 20.
  • the communication device 20 communicates with the server device 40 via the network 45.
  • the network 45 may be, for example, an IP (Internet Protocol) network. Specifically, the internet or an intranet may be used as the network 45. Further, the network 45 may be a mobile network or a wireless LAN.
  • the communication device 20 may be connected to the network 45 via a wireless communication line such as a mobile network or a wireless LAN.
  • the vehicle 30 corresponds to a moving body.
  • Vehicle 30 may be, for example, an autonomous vehicle that is remotely monitored or controlled.
  • the self-driving vehicle may be, for example, a vehicle that can travel without being operated by a person. Alternatively, the self-driving vehicle may be a vehicle that can travel by performing a simpler operation than a normal operation when a person drives the vehicle.
  • the remote control may mean that the server device 40 controls the vehicle 30 via the network 45, for example.
  • the vehicle 30 has a front camera 31, a rear camera 32, a right camera 33, and a left camera 34 as sensors.
  • the front camera 31 is a camera capable of shooting the front of the vehicle 30.
  • the rear camera 32 is a camera capable of photographing the rear of the vehicle 30.
  • the right camera 33 is a camera capable of shooting the right direction of the vehicle 30.
  • the left camera 34 is a camera capable of shooting the left direction of the vehicle 30.
  • the front camera 31, the rear camera 32, the right camera 33, and the left camera 34 respectively transmit the captured video data to the communication device 20.
  • the video data may be data before compression and conversion, that is, data before encoding, or may be data after compression and conversion, that is, data after encoding.
  • the front camera 31, the rear camera 32, the right camera 33, and the left camera 34 may transmit video data as a packet.
  • the front camera 31, the rear camera 32, the right camera 33, and the left camera 34 may transmit video data to the communication device 20 via an IP network such as a LAN (Local Area Network) built in the vehicle 30. ..
  • IP network such as a LAN (Local Area Network) built in the vehicle 30. ..
  • the front camera 31, the rear camera 32, the right camera 33, and the left camera 34 may transmit video data to the communication device 20 via a network constructed using Ethernet (registered trademark), for example.
  • the front camera 31, the rear camera 32, the right camera 33, and the left camera 34 may transmit the video data to the communication device 20 via a CAN (Controller Area Network).
  • the front camera 31, the rear camera 32, the right camera 33, and the left camera 34 are video images to a communication device via a communication line such as USB (Universal Serial Bus) or HDMI (High-Definition Multimedia Interface) (registered trademark). Data may be sent.
  • a communication line such as USB (Universal Serial Bus) or HDMI (High-Definition Multimedia Interface) (registered trademark). Data may be sent.
  • the communication device 20 has a configuration in which a communication unit 15 is added to the communication device 10 of FIG. In the configuration of the communication device 20, the detailed description of the same configuration as the communication device 10 will be omitted.
  • the communication unit 11 connects to the network 45. For example, the communication unit 11 connects to the network 45 via a wireless communication line.
  • the communication unit 15 receives video data from each camera mounted on the vehicle 30.
  • the communication unit 15 outputs the received video data to the communication unit 11 and the peripheral state recognition unit 13.
  • the peripheral state recognition unit 13 uses the received image data to recognize the peripheral state of each camera.
  • the peripheral state recognition unit 13 recognizes the peripheral state of each camera based on the traffic characteristics of the received video data.
  • the peripheral state recognition unit 13 outputs information about the peripheral state of the camera to the communication control unit 14.
  • the surrounding state may be paraphrased as a surrounding environment.
  • the traffic characteristics may be, for example, a transfer rate, an average packet interval, an average packet size, jitter, or the like.
  • MPEG Motion Picture Experts Group
  • the peripheral state recognition unit 13 may perform MPEG standard moving image encoding on the received video data.
  • a technique for compressing the frame size by transmitting difference information from the previous frame is widely used.
  • the compression effect is stronger in a video with little change than the video with a large change, and the transfer data amount or transfer rate becomes smaller.
  • the compression effect is weakened in a video that changes a lot and the transfer data amount or transfer rate becomes larger than that in a video that changes little. That is, the traffic characteristic of the video data changes according to the degree of change of the video.
  • the peripheral state recognition unit 13 recognizes that the degree of change in the video data is larger than the predetermined threshold value. That is, when the transfer rate is higher than a predetermined threshold value, the peripheral state recognition unit 13 includes a pedestrian or the like, which was not included in the previously received image data frame, in the received image data frame. Recognize that Pedestrians and the like include pedestrians, other vehicles, obstacles, traffic signals, or traffic signs. When the transfer rate is lower than a predetermined threshold, the peripheral state recognition unit 13 does not show a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign in the frame of the received video data. Recognize that is continuing.
  • the peripheral state recognition unit 13 may analyze the image content of the received video data and recognize whether or not a pedestrian, another vehicle, an obstacle, a traffic signal, a traffic sign, or the like is shown.
  • the analysis of the image content may be paraphrased as image processing or image recognition processing.
  • the peripheral state recognition unit 13 extracts the feature amount in the video data, and the extracted feature amount and the feature amount of the target object previously registered in the memory or the like in the communication device 20. Collate.
  • the target object is, for example, a person, a vehicle, an obstacle, a traffic signal, a traffic sign, or the like.
  • the peripheral state recognition unit 13 determines that the pedestrian and other vehicles are included in the video data. Recognize that there are obstacles, traffic lights, or traffic signs. Alternatively, by preparing reference image data in the position and shooting direction of the camera, and comparing the image obtained by shooting with the reference image data, the presence of an object not included in the reference image data is detected. May be recognized.
  • the movement state recognition unit 12 acquires control information such as actuator or sensor information of the vehicle 30 via CAN, which is an in-vehicle network built in the vehicle 30.
  • the moving state recognition unit 12 uses the control information to recognize the moving state of the vehicle 30.
  • the moving state represents the traveling direction and the traveling speed, and the presence or absence of the change and the degree of the change, and may be not only the current state but also a future predicted value.
  • the moving state recognition unit 12 recognizes that the vehicle 30 is making a right turn or a left turn, or makes a right turn or a left turn after a predetermined period of time, by acquiring the winker information as the control information. Further, the moving state recognition unit 12 recognizes whether the vehicle 30 is moving forward or backward by acquiring the shift lever information.
  • the moving state recognition unit 12 may use the vehicle speed sensor information to recognize or predict the speed or acceleration of the vehicle 30. Further, the moving state recognition unit 12 recognizes that the vehicle 30 is decelerating by acquiring the brake information. The moving state recognition unit 12 outputs the information recognized as the moving state of the vehicle 30 to the communication control unit 14.
  • the control information may be paraphrased as device information of a device such as an actuator mounted on the vehicle 30.
  • the prediction may be paraphrased as estimation or calculation.
  • the moving state recognition unit 12 may acquire information on the moving state of the vehicle 30, for example, whether the vehicle 30 is moving forward, moving backward, or turning right or left, from the software. ..
  • the information that the moving state recognition unit 12 acquires from the software may be paraphrased as travel control information.
  • the communication control unit 14 determines the priority of the front camera 31, the rear camera 32, the right camera 33, and the left camera 34 by using the information received from the moving state recognition unit 12 and the peripheral state recognition unit 13.
  • the priority determined by the communication control unit 14 will be described with reference to FIG. In FIG. 3, the priorities are indicated by using 0, 1, and 2, and it is assumed that priority 2 has the highest priority and priority 0 has the lowest priority.
  • the communication control unit 14 acquires, for example, the information that the vehicle 30 is moving forward from the moving state recognition unit 12. In this case, the communication control unit 14 sets the priority of the front camera 31 to 2. When the communication control unit 14 acquires the information that the vehicle 30 is moving backward, the communication control unit 14 sets the priority of the rear camera 32 to 2.
  • the communication control unit 14 determines whether or not a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign is included in the image data acquired from the rear camera 32.
  • the information received from the peripheral state recognition unit 13 is used for the determination.
  • the communication control unit 14 determines that the rear camera 32. Is set to 1.
  • the communication control unit 14 determines that the rear camera 32 is present. The priority of is set to 0.
  • the communication control unit 14 determines whether or not a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign is included in the video data acquired from the front camera 31. The determination is made using the information received from the peripheral state recognition unit 13.
  • the communication control unit 14 determines that the front camera 31 is being used. Is set to 1.
  • the communication control unit 14 determines that the front camera 31 is being used.
  • the priority of is set to 0.
  • Priority setting described in FIG. 3 is just an example. For example, if 0 to 3 is defined as the priority, and the vehicle 30 is moving forward and another vehicle or the like is captured in the front camera 31, the front camera 31 is set to 3 as a higher priority value. May be. Further, the priority may be changed according to the object shown in the video data.
  • the communication control unit 14 determines the priority of each camera, it performs communication control according to the priority. For example, the communication control unit 14 sends only the video data captured by the camera having the highest priority among the video data output from the communication unit 15 to the communication unit 11 to the server device 40 via the network 45. It may be controlled to. For example, in the example of FIG. 3, the communication control unit 14 may control so as to transmit only the video data captured by the camera whose priority is set to 2. Only the video captured by the camera with the highest priority may be transmitted to the server device 40 via the network 45. As a result, it is possible to reduce the possibility that video data is discarded, lost, or has a large delay caused by congestion of the network 45 or insufficient bandwidth. As a result, the communication device 20 can transmit the video data captured by the camera having the highest priority to the server device 40 without degrading the quality.
  • the communication control unit 14 may apply Priority-Based Flow Control. Specifically, the communication unit 15 prepares a plurality of buffers classified by priority, and stores video data captured by each camera in the buffer corresponding to the priority of the camera. The communication control unit 14 may transmit the stored video data to the server device 40 in order from the buffer with the highest priority. For example, the communication control unit 14 first transmits all the video data in the buffer that stores the video data captured by the camera whose priority is set to 2. The communication control unit 14 transmits the video data of the buffer that stores the video data captured by the camera with the priority set to 1 after transmitting all the video data captured by the camera with the priority set to 2. Data may be sent.
  • the video data captured by the high priority camera By transmitting the video data captured by the high priority camera to the server device 40 more preferentially than the video data captured by another camera, the video data captured by the high priority camera can be reliably communicated. Resources can be allocated. In other words, it is possible to prevent a shortage of communication resources to be allocated to video data shot by a camera with a high priority. As a result, the video data captured by the camera having the higher priority is transmitted to the server device 40 with higher quality than the video data captured by the other cameras.
  • the communication unit 15 acquires video data from a plurality of cameras mounted on the vehicle 30 (S11).
  • the peripheral state recognition unit 13 uses the video data acquired from the plurality of cameras to recognize the peripheral state of each camera (S12). For example, the peripheral state recognition unit 13 recognizes the peripheral state of each camera based on the traffic characteristics of the received video data. Alternatively, the peripheral state recognition unit 13 recognizes the peripheral state of each camera by analyzing the image content of the received video data.
  • the movement state recognition unit 12 recognizes the movement state of the vehicle 30 (S13).
  • the moving state recognition unit 12 recognizes the moving state of the vehicle 30 by using control information such as actuator or sensor information acquired via CAN.
  • the communication control unit 14 uses the information received from the moving state recognition unit 12 and the peripheral state recognition unit 13 to determine the priority of the camera mounted on the vehicle 30 (S14).
  • the communication control unit 14 performs communication control so that video data shot by a camera having a higher priority than other cameras can be transmitted with higher quality than other video data (S15).
  • the communication control unit 14 transmits only the video data of the camera having the highest priority to the server device 40 via the network 45.
  • the communication control unit 14 stores the video data in the buffers for each priority, and transmits the video data in order from the video data stored in the buffer with the higher priority.
  • each camera or the communication control unit 14 may perform video control according to the priority of each camera or the transmission quality of video data.
  • the communication control unit 14 may control the video bit rate, the video frame rate, the resolution, the quality parameter unique to the encoding standard, and the like as the video control.
  • the transmission quality of the video data is, for example, transfer rate, delay, packet loss, jitter, or the like.
  • the communication control unit 14 issues an instruction to a camera having a low priority or a camera in which a lot of packet loss has occurred, to lower the video bit rate, lower the video frame rate, or lower the resolution. Good.
  • a camera having a low priority and a small usable communication band can use video quality suitable for the usable communication band.
  • the communication control unit 14 may also instruct a camera having a high priority to increase the video bit rate, increase the video frame rate, or increase the resolution.
  • a camera having a high priority and a large available communication band it is possible to use video quality suitable for the available communication band.
  • high quality video data in a camera with high priority for example, high bit rate, high frame rate, high resolution, and the like.
  • the communication device 20 uses the moving state of the vehicle 30 recognized by the moving state recognizing unit 12 and the peripheral state of each camera recognized by the peripheral state recognizing unit 13 for each of them.
  • the priority of the camera can be determined.
  • the communication device 20 can transmit the video data captured by the camera having a high priority to the server device 40 with higher quality than other cameras.
  • the communication device 20 can maintain the quality of video data captured by a camera having a high priority, that is, data of high importance, and transmit the data to the server device 40.
  • the surrounding state recognition unit 13 in the communication device 50 recognizes the surrounding state of the vehicle 30 using the information acquired from the sensor 35 other than the camera mounted on the vehicle 30.
  • the vehicle 30 may be equipped with a sensor 35 such as a millimeter wave radar, an infrared sensor, an ultrasonic sonar, or LiDAR (Light Detection and Ranging).
  • the surrounding state recognition unit 13 uses the information acquired from the respective sensors 35 to recognize or detect the presence of a pedestrian, another vehicle, an obstacle, a traffic signal, a traffic sign, or the like around the vehicle 30. May be.
  • the surrounding state recognition unit 13 recognizes that a pedestrian, another vehicle, an obstacle, a traffic signal, a traffic sign, or the like exists around the vehicle 30 by using the information acquired from each sensor in combination, or It may be detected. Further, the peripheral state recognition unit 13 also recognizes at which position around the vehicle 30 a pedestrian, another vehicle, an obstacle, a traffic signal, a traffic sign, or the like exists. For example, the peripheral state recognition unit 13 may recognize whether a pedestrian or the like exists in at least one of the front direction, the rear direction, the right direction, and the left direction of the vehicle 30.
  • the vehicle 30 uses information acquired from each sensor to recognize how far away the vehicle 30 is from a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign. Good.
  • the communication control unit 14 acquires from the surrounding state recognition unit 13 information indicating in which direction around the vehicle 30 a pedestrian or the like is detected.
  • the communication control unit 14 uses the information acquired from the moving state recognition unit 12 and the information acquired from the peripheral state recognition unit 13 to determine the priority of the front camera 31, the rear camera 32, the right camera 33, and the left camera 34. To decide.
  • the communication control unit 14 may consider that the pedestrian or the like is reflected in the camera installed in the direction in which the pedestrian or the like is detected, and set the priority as shown in FIG.
  • the peripheral state recognition unit 13 uses the information acquired from the sensors different from the sensors different from the front camera 31, the rear camera 32, the right camera 33, and the left camera 34, to use the front camera 31, the rear camera 32, and the right camera.
  • the priority of the camera 33 and the left camera 34 can be determined.
  • the communication control unit 14 can predict a future state of at least one of the moving state of the vehicle 30 and the peripheral state of the vehicle 30, and use the estimated information to determine the priority of the camera mounted on the vehicle 30. ..
  • the movement state recognition unit 12 predicts the movement state of the vehicle after a predetermined period of time based on the device information of the device mounted on the vehicle 30, or the traveling control information that can be acquired from the software that controls the traveling of the vehicle 30.
  • the device information includes winker information, shift lever information, vehicle speed sensor information, brake information, and the like that can be acquired from an in-vehicle actuator or sensor.
  • the moving state recognition unit 12 can predict a right turn or a left turn of the vehicle by using the winker information.
  • the moving state recognition unit 12 can predict whether the vehicle is moving forward or backward by using the shift lever information.
  • the traveling control information is information including steering, braking, acceleration / deceleration of the vehicle, a traveling route, and the like.
  • the traveling control information may be acquired from software that controls traveling of the vehicle 30 or software that supports driving such as car navigation.
  • the moving state recognition unit 12 predicts the moving direction of the vehicle after a lapse of a predetermined period, using the winker information acquired via CAN. For example, the moving state recognition unit 12 predicts that the vehicle 30 moves to the right after A (A is an integer of 0 or more) seconds when the winker information indicating a right turn is acquired. In addition, the movement state recognition unit 12 predicts that the vehicle 30 moves to the left after A seconds when the winker information indicating the left turn is acquired.
  • the communication control unit 14 sets the priority of the left camera 34 to 2 when the movement state recognition unit 12 predicts that the vehicle 30 will move to the left based on the turn signal information indicating a left turn.
  • the communication control unit 14 sets the priority of the right camera 33 to 2 when the movement state recognition unit 12 predicts that the vehicle 30 will move to the right based on the turn signal information indicating a right turn.
  • the communication control unit 14 determines whether or not a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign is included in the image data acquired from the left camera 34. To judge. The communication control unit 14 predicts that the vehicle 30 will make a right turn, and in the image data acquired from the left camera 34, when another vehicle or the like is captured, that is, when another vehicle or the like is approaching from the left direction, the left camera
  • the priority of 34 is set to 1.
  • the communication control unit 14 does not show another vehicle or the like in the image data obtained from the left camera 34, that is, when another vehicle or the like is not approaching from the left direction,
  • the priority of the left camera 34 is set to 0.
  • the communication control unit 14 determines whether or not a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign is included in the image data acquired from the right camera 33. judge.
  • the communication control unit 14 predicts that the vehicle 30 will turn left, and in the image data acquired from the right camera 33, when another vehicle or the like is captured, that is, when the other vehicle or the like is approaching from the right direction, the right camera
  • the priority of 33 is set to 1.
  • the communication control unit 14 predicts that the vehicle 30 will turn left, and in the image data acquired from the right camera 33, when another vehicle or the like is not shown, that is, when the other vehicle or the like is not approaching from the right direction, the right camera
  • the priority of 33 is set to 0.
  • the peripheral state recognition unit 13 can predict the peripheral state of the camera after a predetermined period of time, using the information acquired from the sensor 35 other than the camera or the information acquired from the other camera other than the camera. ..
  • the peripheral state recognition unit 13 uses information acquired from a sensor such as LiDAR to identify the distance and the direction to a pedestrian or the like existing in the vicinity of the vehicle 30.
  • the peripheral state recognition unit 13 may acquire information regarding the speed of the vehicle 30 from the movement state recognition unit 12.
  • the peripheral state recognition unit 13 predicts that a pedestrian or the like is captured in the camera after a predetermined period of time, using the distance to the pedestrian or the like existing around the vehicle 30 and the information on the speed of the vehicle 30. Good.
  • the peripheral state recognition unit 13 may predict that the pedestrian or the like is captured in the camera when the pedestrian or the like is displayed larger than a predetermined value in the image captured by the camera.
  • the peripheral state recognition unit 13 uses the map information of the current position, the traveling direction, and the vehicle periphery to predict that a pedestrian or the like will be captured by the camera mounted on the vehicle 30 after a predetermined period has elapsed. Good.
  • the peripheral state recognition unit 13 may specify the current position and the traveling direction by using a global satellite positioning system (GNSS) such as GPS (Global Positioning System), for example.
  • GNSS global satellite positioning system
  • the peripheral state recognition unit 13 may extract the map information around the vehicle 30 using the map information stored in the memory in the communication device 20 (or the communication device 50).
  • the peripheral state recognition unit 13 may acquire map information stored in another device via the network 45 and use the acquired map information to extract map information around the vehicle 30. For example, if there is an intersection or a junction around the vehicle 30, it may be predicted that a pedestrian or the like will be captured by a camera that captures the direction of another road that intersects or merges after a predetermined period.
  • the communication control unit 14 acquires, for example, the information that the vehicle 30 is moving forward from the moving state recognition unit 12. In this case, the communication control unit 14 sets the priority of the front camera 31 to 2. When the communication control unit 14 acquires the information that the vehicle 30 is moving backward, the communication control unit 14 sets the priority of the rear camera 32 to 2.
  • the communication control unit 14 predicts that a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign will be captured in the video data captured by the rear camera 32. Determine whether or not.
  • the communication control unit 14 determines that the other vehicle or the like is approaching from behind. If predicted, the priority of the rear camera 32 is set to 1.
  • the priority of the rear camera 32 is set to 0.
  • the communication control unit 14 determines whether or not a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign is predicted in the video data captured by the front camera 31 when the vehicle 30 is moving backward. To determine. When the vehicle 30 is moving backward and the image data captured by the front camera 31 predicts that another vehicle or the like is captured, the communication control unit 14 determines that the other vehicle or the like is approaching from the front. If predicted, the priority of the front camera 31 is set to 1. When the vehicle 30 is moving backward and the image data captured by the front camera 31 is not predicted to include another vehicle, that is, when it is not predicted that another vehicle or the like approaches from the front, the communication control unit 14 The priority of the front camera 31 is set to 0.
  • FIG. 8 a description will be given of a priority determination method different from those in FIGS. 6 and 7 for the priority determined by the communication control unit 14.
  • the communication control unit 14 determines the priority using the predicted movement state of the vehicle and the predicted peripheral state of the camera.
  • the communication control unit 14 sets the priority of the left camera 34 to 2 when the movement state recognition unit 12 predicts that the vehicle 30 will move to the left based on the turn signal information indicating a left turn.
  • the communication control unit 14 sets the priority of the right camera 33 to 2 when the movement state recognition unit 12 predicts that the vehicle 30 will move to the right based on the turn signal information indicating a right turn.
  • the communication control unit 14 predicts that a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign will be captured in the video data captured by the left camera 34. It is determined whether or not there is.
  • the communication control unit 14 predicts that the vehicle 30 will make a right turn, and predicts that another vehicle or the like will appear in the video data captured by the left camera 34, that is, that the other vehicle or the like is approaching from the left direction. Is predicted, the priority of the left camera 34 is set to 1.
  • the communication control unit 14 predicts that the vehicle 30 will make a right turn, and does not predict that another vehicle or the like will appear in the video data captured by the left camera 34, that is, if another vehicle or the like will not approach from the left direction. , The priority of the left camera 34 is set to 0.
  • the communication control unit 14 predicts that a pedestrian, another vehicle, an obstacle, a traffic signal, or a traffic sign is projected in the image data captured by the right camera 33. Determine whether or not.
  • the communication control unit 14 predicts that the vehicle 30 will turn left and predicts that another vehicle or the like will appear in the video data captured by the right camera 33, that is, that the other vehicle or the like is approaching from the right direction.
  • the priority of the right camera 33 is set to 1.
  • the communication control unit 14 predicts that the vehicle 30 will make a left turn, and does not predict that another vehicle or the like will appear in the video data captured by the right camera 33, that is, if it is not predicted that another vehicle or the like will approach from the right direction.
  • the priority of the right camera 33 is set to 0.
  • the communication control unit 14 can predict a future state of at least one of the moving state of the vehicle 30 and the peripheral state of the vehicle 30, and can perform communication control using the estimated information.
  • the timing at which the future state of at least one of the moving state of the vehicle 30 and the peripheral state of the vehicle 30 is predicted does not have to be the same timing as the timing at which the communication control unit 14 performs the communication control. That is, the communication control unit 14 may perform the communication control after predicting a future state of at least one of the moving state of the vehicle 30 and the peripheral state of the vehicle 30.
  • the processing time required for communication control may be taken into consideration. For example, assume that the moving state recognition unit 12 predicts that the time when the moving state of the vehicle 30 changes at time T0 is time T1.
  • any timing from T0 to T1 can be adopted.
  • the bandwidth control is performed as the communication control
  • the communication control may be performed at a timing of T0 or more and T1- ⁇ or less.
  • the moving state recognizing unit 12 can predict the moving state of the vehicle 30 after the lapse of a predetermined period, and the peripheral state recognizing unit 13 detects the peripheral state of the vehicle 30 after the lapse of the predetermined period. It is possible to predict. Further, the communication control unit 14 can determine the priority of the camera mounted on the vehicle 30 by using the predicted information in at least one of the moving state of the vehicle 30 and the peripheral state of the vehicle 30. From this, the communication control unit 14 can determine the priority of the camera in consideration of a situation that may occur in the future.
  • the communication device 60 has a configuration in which the band evaluation unit 16 is added to the communication device 20 of FIG. Further, the communication device 60 may have a configuration in which the band evaluation unit 16 is added to the communication device 50 of FIG. Detailed description of the same configuration of the communication device 60 as that of the communication device 20 will be omitted.
  • the band evaluation unit 16 evaluates the available band of at least a part of the communication line between the camera mounted on the vehicle 30 and the server device 40.
  • the available band is a band that can be used for communication.
  • the partial section may be, for example, between the communication device 60 and the server device 40, may be between the communication device 60 and the camera, and is disposed on the communication device 60 and the mobile network. It may be with the base station.
  • the band evaluation unit 16 may transmit and receive a probe packet for evaluation via the communication unit 11 in the section to be evaluated and may evaluate the available band using information obtained from the probe packet. Evaluating the available bandwidth may be rephrased as calculating the available bandwidth. For example, the bandwidth evaluation unit 16 may evaluate the available bandwidth by using RTT (Round Trip Time) when transmitting a plurality of probe packets and receiving a response signal of the probe packets. Alternatively, the band evaluation unit 16 may evaluate the available band by observing the interval between received packets, that is, the delay variation. Alternatively, the band evaluation unit 16 may evaluate the available band using the TCP window size of the received response signal. As a method for evaluating the available bandwidth using the probe packet, other commonly used methods may be used. The band evaluation unit 16 outputs the evaluation result of the available band to the communication control unit 14.
  • RTT Red Trip Time
  • the communication control unit 14 When the communication control unit 14 evaluates the available bandwidth in the section between the communication device 60 and the server device 40, the communication control unit 14 transmits the video data captured by each camera to the server device 40 according to the determined priority. The bandwidth at that time is proportionally distributed from the available bandwidth. Even when the communication control unit 14 evaluates the available bandwidth of the section between the communication device 60 and the base station, the communication control unit 14 transmits the video data captured by each camera to the server device 40 according to the determined priority. The bandwidth at that time may be proportionally distributed from the available bandwidth. For example, the communication control unit 14 controls the video data captured by the camera having the priority of 2 shown in FIGS. 3 and 6 to 8 into the camera having the priority of 0 and 1 set. More bands may be allocated than the captured video data.
  • the communication control unit 14 may allocate the necessary bandwidth in the order of the video data shot by the camera set with the high priority to the video data shot by the camera set with the low priority. For example, when transmitting all the video data captured by each camera to the server device 40 exceeds the available bandwidth, when transmitting the video data in sequence from the video data captured by the camera set with a high priority. You may allocate the required bandwidth. In this case, the same amount of bandwidth may be assigned to each video data. In addition, when all the available bands are allocated, the bands may not be allocated to the video data captured by the camera set to the low priority.
  • the communication control unit 14 evaluates the available bandwidth of the section between the camera and the communication device 60, the bandwidth at which each camera transmits the video data to the server device 40 according to the determined priority. May be proportionally distributed from the available band.
  • the communication control unit 14 evaluates the available bandwidth of the section between the camera and the communication device 60, the communication control unit 14 needs each camera to transmit the video data to the server device 40 according to the determined priority.
  • the required bandwidth to be used may be allocated from the available bandwidth.
  • the communication control unit 14 may determine the band to be assigned to each camera, taking into consideration the video transmission performance of each camera. For example, if the maximum video transmission bit rate determined by the video transmission performance is 10 Mbps, even if a band of more than 10 Mbps is allocated to the camera, it is not possible to effectively utilize the entire allocated band. In order to solve this problem, the upper limit value of the bandwidth allocated to the camera may be limited to the maximum video transmission bit rate. Further, when the minimum video transmission bit rate determined by the video transmission performance is 500 Kbps, allocating a band less than 500 Kbps to the camera may cause a problem in video transmission with the lowest quality. In order to solve this problem, it is desirable to limit the lower limit value of the bandwidth allocated to the camera to the minimum video transmission bit rate.
  • the communication device 60 can evaluate the available bandwidth of at least a part of the communication line between the camera and the server device 40. Furthermore, the communication device 60 can preferentially allocate an available band to video data captured by a camera having a high priority. As a result, the quality of video data shot by a camera with a high priority can be maintained higher than the quality of video data shot by a camera with a low priority.
  • the communication system of FIG. 10 includes a vehicle 90, a vehicle 100, an AP (Access Point) 80, a communication device 70, a server device 40, and a network 45.
  • Vehicle 90 and vehicle 100 may be, for example, an AGV (Automated Guided Vehicle) used in a factory.
  • AGV Automatic Guided Vehicle
  • the vehicle 90 has a camera 91 and a camera 92. Further, the vehicle 100 has a camera 101 and a camera 102.
  • the cameras mounted on the vehicle 90 and the vehicle 100 wirelessly communicate with the AP 80.
  • the wireless communication may be wireless LAN communication, for example.
  • the cameras mounted on the vehicle 90 and the vehicle 100 transmit the image data to the communication device 70 via the AP 80.
  • the communication device 70 is connected to the AP 80.
  • Other configurations in FIG. 10 are similar to those in the communication system in FIG. 2, and detailed description thereof will be omitted.
  • the communication device 70 has a configuration in which the mobile body identification unit 17 is added to the communication device 20 in FIG. Further, the communication control unit 14 performs communication control on the video data transmitted by the cameras mounted on the vehicle 90 and the vehicle 100 via the communication unit 15.
  • the other configuration of the communication device 70 is the same as that of the communication device 20 in FIG. 2, and detailed description thereof will be omitted.
  • the mobile body identification unit 17 acquires the video data transmitted from the cameras mounted on the vehicle 90 and the vehicle 100 via the communication unit 15.
  • the communication device 70 acquires video data from a plurality of vehicles. Therefore, it is necessary to identify which vehicle each video data is the video data captured by which camera is installed in which vehicle. Therefore, the moving body identifying unit 17 identifies the camera group installed in the same vehicle based on the mutual relationship of the video data captured by the cameras 91, 92, 101, and 102.
  • the mutual relation of the video data may be paraphrased as the correlation between the respective video data. It can be said that the correlation between the respective pieces of video data is high when, for example, the presence or absence of a change in the video in the respective pieces of video data, the speed of change are the same, or the speed of change is similar. Further, the correlation between the respective video data can be said to be high when the traveling directions specified by the respective video data are the same. Further, the correlation between the respective video data can be said to be high when the respective video data include the same target object at the same time or within a certain time.
  • the moving body identifying unit 17 identifies the image data whose correlation is higher than a predetermined threshold value by analyzing the image content of each image data, and the camera group that captured the identified image data is the same vehicle. It is determined to be installed in.
  • the communication control unit 14 may determine the priority as shown in FIGS. 3 and 6 to 8 for each specified camera group, that is, for each specified vehicle. Further, the communication control unit 14 may associate the video data with the information for identifying the camera group, and transmit the video data and the information for identifying the camera group to the server device 40.
  • the communication device 70 may not be mounted on a specific vehicle, and may acquire video data captured by a camera mounted on each vehicle from a plurality of vehicles. Even in such a case, the communication device 70 can specify the camera group mounted in the same vehicle by analyzing or analyzing the mutual relationship between the video data. Further, the communication device 70 transmits the video data and the information for identifying the camera group to the server device 40, so that the server device 40 can recognize the video data for each vehicle. As a result, the server device 40 can easily monitor and control each vehicle.
  • FIG. 11 is a block diagram showing a configuration example of the communication device 10 and the like.
  • the communication device 10 or the like includes a network interface 1201, a processor 1202, and a memory 1203.
  • the network interface 1201 is used to communicate with other network node devices that make up the communication system.
  • the network interface 1201 may include, for example, a network interface card (NIC) compliant with IEEE802.3 series.
  • NIC network interface card
  • the network interface 1201 may be used to perform wireless communication.
  • the network interface 1201 may be used to perform wireless LAN communication or mobile communication defined in 3GPP (3rd Generation Partnership Project).
  • the processor 1202 reads the software (computer program) from the memory 1203 and executes the software to perform the processing of the communication device 10 and the like described using the sequence diagram and the flowchart in the above embodiment.
  • the processor 1202 may be, for example, a microprocessor, MPU (Micro Processing Unit), or CPU (Central Processing Unit).
  • the processor 1202 may include multiple processors.
  • the memory 1203 is composed of a combination of a volatile memory and a non-volatile memory.
  • Memory 1203 may include storage located remotely from processor 1202. In this case, the processor 1202 may access the memory 1203 via an I / O interface (not shown).
  • the memory 1203 is used to store the software module group.
  • the processor 1202 can perform the processing of the communication device 10 or the like described in the above-described embodiment by reading the software module group from the memory 1203 and executing the software module group.
  • each of the processors included in the communication device 10 or the like executes one or a plurality of programs including a group of instructions for causing a computer to execute the algorithm described with reference to the drawing.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of the non-transitory computer-readable medium include a magnetic recording medium, a magneto-optical recording medium (for example, a magneto-optical disk), a CD-ROM (Read Only Memory), a CD-R, a CD-R / W, and a semiconductor memory.
  • the magnetic recording medium may be, for example, a flexible disk, a magnetic tape, or a hard disk drive.
  • the semiconductor memory may be, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, or a RAM (Random Access Memory).
  • the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • a communication unit that transmits sensor information detected by using two or more sensors installed in the moving body so that states in different directions can be detected based on the moving body.
  • a moving state recognition unit for recognizing the moving state of the moving body
  • a peripheral state recognition unit for recognizing the peripheral state of the moving body, The priority of each sensor is determined based on the movement state and the peripheral state, and the sensor information detected by the sensor with high priority can be transmitted with higher quality than the sensor information detected by the sensor with low priority.
  • a communication control unit that performs communication control.
  • the sensor information is Video data captured by two or more cameras installed on the moving body so as to be able to shoot in different directions from the moving body as a base point,
  • the communication control unit The degree of priority of each camera is determined, and communication control is performed so that an image captured by a camera with a high priority can be transmitted with higher quality than an image captured by a camera with a low priority.
  • Communication device (Appendix 3) The peripheral state recognition unit, The communication device according to appendix 2, wherein the peripheral state is recognized using video data captured by each of the cameras.
  • the peripheral state recognition unit 4.
  • the communication device according to attachment 3 wherein the peripheral state is recognized by using a traffic characteristic of video data captured by each of the cameras. (Appendix 5) 4.
  • the communication device according to attachment 3, wherein the peripheral state recognition unit recognizes the peripheral state by analyzing image content of video data captured by each of the cameras.
  • the peripheral state recognition unit The peripheral state recognition unit, The communication device according to Appendix 2, wherein the peripheral state is recognized based on at least one of a millimeter wave radar, an infrared sensor, an ultrasonic sonar, and a LiDAR installed on the moving body.
  • the movement state recognition unit 7.
  • the moving state is 7.
  • the communication device according to any one of appendices 1 to 6, wherein the traveling state is recognized using traveling control information that can be acquired from software that controls traveling of the moving body.
  • the movement state recognition unit Predict the movement state of the moving body after a predetermined period of time
  • the peripheral state recognition unit Predict the surrounding state of the moving body after the lapse of a predetermined period
  • the communication control unit 9.
  • the priority of each sensor is determined based on the current movement state or the movement state after a lapse of a predetermined period, and the current peripheral state or the peripheral state after a lapse of the predetermined period.
  • the peripheral state recognition unit The communication device according to appendix 9, which predicts a peripheral state of the mobile body after a predetermined period of time by using a current position of the mobile body, a traveling direction of the mobile body, and map information.
  • the movement state recognition unit Predicting the moving state of the mobile body after a predetermined period has elapsed using device information of a device mounted on the mobile body or traveling control information that can be acquired from software that controls traveling of the mobile body.
  • (Appendix 12) Further comprising a band calculation unit that calculates an available band that can be used in a communication line used when transmitting the sensor information, The communication control unit, Of the calculated available bandwidth, the sensor information detected by the sensor with a high priority is assigned a communication band more than the communication bandwidth assigned to the sensor information detected by the sensor with a low priority.
  • the communication device according to any one of 1 to 11.
  • the communication unit is Supplementary Note 1 to Claim 1 further comprising a mobile body recognition unit that receives sensor information from a plurality of mobile bodies and identifies at least one or more sensors mounted on the same mobile body based on a mutual relationship of the plurality of sensor information. 13.
  • the communication device according to any one of 12.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

車両等において取得された重要度の高いセンサ情報の品質を高く維持して、重要度の高いデータを遠隔装置等へ送信することができる通信装置を提供すること。 本開示にかかる通信装置（１０）は、移動体を基点に、互いに異なる方向の状態を検出可能に移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信部（１１）と、移動体の移動状態を認識する移動状態認識部（１２）と、移動体の周辺状態を認識する周辺状態認識部（１３）と、移動状態及び周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部（１４）と、を備える。

Description

通信装置、通信制御方法、及び非一時的なコンピュータ可読媒体
　本開示は、通信装置、通信制御方法、及びプログラムに関する。
　近年、自動運転車の技術開発が進み、公道における自動運転車の走行実験が進められている。自動運転車には通常、歩行者の有無、もしくは他車両の有無等の周辺状態を認識するための各種センサが搭載されている。各種センサは、例えば、カメラもしくはレーダ等である。各種センサにおいて検出された情報は、運転制御に利用される。
　特許文献１には、自動運転制御装置が、自動運転車両周辺においてオブジェクトを検出した場合に、オブジェクトに関するメタ情報（オブジェクトコード、オブジェクトのサイズ情報、オブジェクトの位置情報など）を遠隔制御装置へ送信することが記載されている。自動運転制御装置は、複数のオブジェクトが検出された場合、重要度の高いオブジェクトに関するメタ情報から順番に遠隔制御装置へ送信する。自動運転車両に近いオブジェクトほど重要度が高くなる。
　また、特許文献２には、車両に搭載された車載カメラにおいて撮影された画像をサーバが収集するシステム、が記載されている。車両に搭載された車載カメラは、特定の対象物を撮影するためにサーバから指示された撮影地点及び撮影方向等に基づいて、動画撮影を開始する。車載カメラにおいて動画撮影が開始される際に、複数の車載カメラの映像ビットレートが決定される。それぞれの車載カメラに割り当てられる映像ビットレートは、車両の位置もしくは進行方向等を考慮して決定される。
特開２０１８－１４２９２１号公報 特開２０１６－１３４８１６号公報
　特許文献１においては、複数のオブジェクトが検出された場合に、自動運転制御装置は、重要度の高いオブジェクトを判断し、重要度の高いオブジェクトのメタ情報から順番に送信することができる。特許文献１に開示された方法では、オブジェクト単位の重要度を判断することは可能であるが、車載カメラなどセンサ単位の重要度は判断することができない。そのため、メタ情報ではなく映像データ等のセンサ情報そのものを送信する際、どのセンサ情報を優先的に送信すべきかの判断ができない。
　特許文献２に開示された方法は、特定の対象物を撮影することを目的に、特定の対象物と車載カメラとの位置関係をもとに、車載カメラの映像ビットレートを制御する。そのため、自動運転車の遠隔監視のように、撮影すべき対象物が事前に特定あるいは指定困難な場合においては、どの車載カメラの映像データを優先して送信すべきかの判断ができない。
　本開示の目的は、車両等の移動体において取得されたセンサ情報を、センサの重要度に基づいて遠隔装置等へ送信することができる通信装置、通信制御方法、及びプログラムを提供することにある。
　本開示の第１の態様にかかる通信装置は、移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信部と、前記移動体の移動状態を認識する移動状態認識部と、前記移動体の周辺状態を認識する周辺状態認識部と、前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部と、を備える。
　本開示の第２の態様にかかる通信制御方法は、移動体の移動状態を認識し、前記移動体の周辺状態を認識し、前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、前記センサ情報を送信する。
　本開示の第３の態様にかかるプログラムは、移動体の移動状態を認識し、前記移動体の周辺状態を認識し、前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、前記センサ情報を送信する、ことをコンピュータに実行させる。
　本発明により車両等の移動体において取得されたセンサ情報を、センサの重要度に基づいて遠隔装置等へ送信することができる通信装置、通信制御方法、及びプログラムを提供することができる。
実施の形態１にかかる通信装置の構成図である。 実施の形態２にかかる通信システムの構成図である。 実施の形態２にかかる通信制御部が決定する優先度を示す図である。 実施の形態２にかかる通信装置における通信制御処理の流れを示す図である。 実施の形態３にかかる通信装置の構成図である。 実施の形態４にかかる通信制御部が決定する優先度を示す図である。 実施の形態４にかかる通信制御部が決定する優先度を示す図である。 実施の形態４にかかる通信制御部が決定する優先度を示す図である。 実施の形態５にかかる通信装置の構成図である。 実施の形態６にかかる通信システムの構成図である。 それぞれの実施の形態にかかる通信装置の構成図である。
　（実施の形態１）
　以下、図面を参照して本発明の実施の形態について説明する。図１を用いて実施の形態１にかかる通信装置１０の構成例について説明する。通信装置１０は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置であってもよい。また、通信装置１０は、移動体に設置されてもよい。移動体は、自動車、電車、建設機械、無人搬送車（ＡＧＶ：Ａｕｔｏｍａｔｅｄ　Ｇｕｉｄｅｄ　Ｖｅｈｉｃｌｅ）等を含む車両、有人飛行機、無人飛行機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）、船舶等の移動手段であってもよい。
　通信装置１０は、通信部１１、移動状態認識部１２、周辺状態認識部１３、及び通信制御部１４を有している。通信部１１、移動状態認識部１２、周辺状態認識部１３、及び通信制御部１４等の通信装置１０の構成要素は、メモリに格納されたプログラムをプロセッサが実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、通信装置１０の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
　通信部１１は、移動体に設置された２以上のセンサにより得られたセンサ情報を、ネットワークを介してサーバ装置等へ送信する。２以上のセンサは、移動体を基点にして互いに異なる方向の状態を検出可能なように移動体に設置される。異なる方向とは、例えば、移動体の前方、後方、右方向、左方向であってもよい。状態の検出とは、例えば、移動体のそれぞれの方向において、人の検出、障害物の検出、他の移動体の検出、もしくは、交通標識等の検出であってもよい。
　センサの種類には、カメラ、ミリ波レーダ、赤外線センサ、超音波ソナー、もしくはＬｉＤＡＲ（Light Detection and Ranging）等がある。上述の２以上のセンサは、すべて同一種類のセンサであってもよいし、互いに異なる種類のセンサであってもよい。
　移動体には、２以上のセンサが設置されている。２以上のセンサは、前方及び後方、さらに、右方向及び左方向、等の、異なる方向の状態の変化を検出可能に設置される。例えば、移動体の前方に設置されたセンサは、前方の状態の変化を検出し、移動体の後方に設置されたセンサは、後方の状態の変化を検出してもよい。もしくは、移動体の特定の箇所に、複数のセンサを設置する場合、それぞれのセンサが異なる検出領域を有するように設置されてもよい。検出領域は、例えば、感知領域と称されてもよい。
　通信部１１は、無線通信回線を介してセンサ情報をサーバ装置へ送信してもよい。無線通信回線は、例えば、３ＧＰＰ（3rd Generation Partnership Project）等において仕様が規定された、３Ｇ、４ＧまたはＬＴＥ（Long Term Evolution）、５Ｇ等のモバイルネットワークであってもよく、無線ＬＡＮ（Local Area Network）であってもよい。もしくは、通信部１１は、有線通信回線を介してセンサ情報をサーバ装置へ送信してもよい。
　サーバ装置は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置であってもよい。サーバ装置は、例えば、通信装置１０から受信したセンサ情報を用いて、移動体を遠隔監視してもよい。
　移動状態認識部１２は、移動体の移動状態を認識する。移動状態は、移動体の移動方向を示す情報であってもよい。例えば、移動状態は、移動体が、前方もしくは後方に進んでいるかを示す情報であってもよい。または、移動状態は、移動体が右折して右方向に進んでいるかもしくは左折して左方向に進んでいるかを示す情報であってもよい。または、移動状態は、移動体の速度もしくは加速度を示す情報であってもよい。または、移動状態は、停止しているか否かを示す情報であってもよい。移動状態認識部１２は、移動状態に関する情報を通信制御部１４へ出力する。
　周辺状態認識部１３は、移動体の周辺状態を認識する。周辺状態は、例えば、移動体が車両である場合に、移動体の周辺における歩行者の有無、他車両の有無、障害物の有無、交通標識の有無、交通信号の有無等であってもよい。また、周辺状態は、例えば、移動体が飛行機である場合に、移動体の周辺における気象状況等を示す情報であってもよい。周辺状態認識部１３は、周辺状態に関する情報を通信部１１へ出力する。なお、周辺状態に関する情報には、当該周辺状態の方向を示す情報が含まれていてもよい。ここでの方向とは、車両の向きを基準にした相対方向であってもよいし、磁北や真北を基準にした絶対方向であってもよい。
　通信制御部１４は、移動状態及び周辺状態に基づいて、それぞれのセンサの優先度を決定する。さらに、通信制御部１４は、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う。優先度は、連続値であっても良いし、離散値、例えば、２以上の複数のレベルもしくは段階が定義されてもよい。通信制御部１４は、例えば、移動状態及び周辺状態の組み合わせに応じて、それぞれのセンサの優先度を決定してもよい。通信制御は、例えば、センサ情報を送信する際に、優先度が高いセンサ情報に対し、優先度が低いセンサ情報よりも多くの通信帯域を割当てることで実施してもよい。あるいは、通信制御は、優先度が高いセンサ情報を、優先度が低いセンサ情報よりも時間的に早いタイミングで送信することで実施してもよい。
　以上説明したように、図１の通信装置１０は、移動体の周辺状態のみを用いるのではなく、移動状態及び周辺状態を用いて、移動体に設置された２以上のセンサにおけるそれぞれのセンサの優先度を決定することができる。そのため、例えば、通信装置１０は、周辺状態において移動体の周辺に歩行者が存在しないと示されている場合であっても、移動状態をさらに考慮して移動体に設置されたセンサの優先度を決定することができる。あるいは、周辺状態において前方と後方のそれぞれに歩行者が存在すると示されている場合であっても、移動状態をさらに考慮して前方センサと後方センサのどちらを優先すべきかを決定することができる。これより、周辺状態のみを用いた場合には、必要以上に優先度が低いまたは高いと決定され得るセンサであっても、通信装置１０は、移動状態をさらに考慮することによって、センサの優先度を適正化することができる。その結果、通信装置１０は、優先度を高精度に決定することが可能であり、優先度の低いセンサ情報と比較して、サーバ装置等へと送信される、優先度の高いセンサ情報の品質を高く維持することができる。
　（実施の形態２）
　続いて、図２を用いて実施の形態２にかかる通信システムの構成例について説明する。図２の通信システムは、通信装置２０、車両３０、サーバ装置４０、及びネットワーク４５を有している。車両３０は、通信装置２０を搭載しているとする。
　通信装置２０は、ネットワーク４５を介してサーバ装置４０と通信する。ネットワーク４５は、例えばＩＰ（Internet Protocol）ネットワークであってもよい。具体的には、ネットワーク４５としてインターネットもしくはイントラネットが用いられてもよい。また、ネットワーク４５は、モバイルネットワークや無線ＬＡＮであってもよい。通信装置２０は、モバイルネットワークや無線ＬＡＮ等の無線通信回線を介してネットワーク４５と接続してもよい。
　次に、車両３０の通信装置２０以外の構成例について説明する。車両３０は、移動体に相当する。車両３０は、例えば、遠隔から監視または制御される自動運転車両であってもよい。自動運転車両は、例えば、人が操作することなく走行することができる車両であってよい。もしくは、自動運転車両は、人が車両を運転する際の通常の操作よりも簡易な操作を行うことによって走行することができる車両であってもよい。遠隔から制御するとは、例えば、サーバ装置４０が、ネットワーク４５を介して車両３０を制御することであってもよい。車両３０は、センサとして前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４を有している。前カメラ３１は、車両３０の前方を撮影することができるカメラである。後カメラ３２は、車両３０の後方を撮影することができるカメラである。右カメラ３３は、車両３０の右方向を撮影することができるカメラである。左カメラ３４は、車両３０の左方向を撮影することができるカメラである。
　前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、それぞれ、撮影した映像データを通信装置２０へ送信する。映像データは、圧縮及び変換前のデータ、つまり、エンコード前のデータであってもよく、圧縮及び変換後、つまり、エンコード後のデータであってもよい。前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、映像データをパケットとして送信してもよい。
　前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、車両３０内に構築されたＬＡＮ（Local Area Network）等のＩＰネットワークを介して通信装置２０へ映像データを送信してもよい。前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、例えば、イーサネット（登録商標）を用いて構築されたネットワークを介して映像データを通信装置２０へ送信してもよい。もしくは、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、ＣＡＮ（Controller Area Network）を介して映像データを通信装置２０へ送信してもよい。また、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）やＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）等の通信回線を介して通信装置に映像データを送信してもよい。
　次に、通信装置２０の構成例について説明する。通信装置２０は、図１の通信装置１０に通信部１５が追加された構成である。通信装置２０の構成において、通信装置１０と同様の構成については、詳細な説明を省略する。通信部１１は、ネットワーク４５と接続する。例えば、通信部１１は、無線通信回線を介してネットワーク４５と接続する。
　通信部１５は、車両３０に搭載されたそれぞれのカメラから映像データを受信する。通信部１５は、受信した映像データを通信部１１及び周辺状態認識部１３へ出力する。
　周辺状態認識部１３は、受け取った映像データを用いて、カメラ毎の周辺状態を認識する。
　例えば、周辺状態認識部１３は、受け取った映像データのトラヒック特性に基づいてそれぞれのカメラの周辺状態を認識する。周辺状態認識部１３は、カメラの周辺状態に関する情報を通信制御部１４へ出力する。周辺状態は、周辺環境と言い換えられてもよい。トラヒック特性は、例えば、転送レート、平均パケット間隔、平均パケットサイズ、もしくはジッタ等であってもよい。例えば、周辺状態認識部１３が受け取った映像データは、ＭＰＥＧ（Moving Picture Experts Group）規格の動画エンコーディングが行われているとする。もしくは、周辺状態認識部１３は、受け取った映像データに対してＭＰＥＧ規格の動画エンコーディングを行ってもよい。ＭＰＥＧ規格の動画エンコーディングにおいては、前のフレームとの差分情報を送信することによって、フレームサイズの圧縮を図る技術が広く用いられている。このようなフレームサイズの圧縮を図る技術が用いられる場合、変化が少ない映像においては変化が多い映像よりも圧縮効果が強まり、転送データ量あるいは転送レートが小さくなる。一方、変化が多い映像においては圧縮効果が弱まり、変化が少ない映像よりも転送データ量あるいは転送レートが大きくなる。つまり、映像の変化の程度に応じて、映像データのトラヒック特性が変化する。
　例えば、転送レートが予め定められた閾値よりも大きい場合、周辺状態認識部１３は、映像データの変化の程度が予め定められた閾値よりも大きいと認識する。つまり、周辺状態認識部１３は、転送レートが予め定められた閾値よりも大きい場合、受け取った映像データのフレームには、前に受け取った映像データのフレームには写っていなかった歩行者等が写っていると認識する。歩行者等とは、歩行者、他車両、障害物、交通信号、もしくは交通標識を含む。周辺状態認識部１３は、転送レートが予め定められた閾値よりも小さい場合、受け取った映像データのフレームには、歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っていない状態が継続していると認識する。
　もしくは、周辺状態認識部１３は、受け取った映像データの画像内容の解析を行い、歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っているか否かを認識してもよい。画像内容の解析は、画像処理もしくは画像認識処理と言い換えられてもよい。画像認識処理とは、例えば、周辺状態認識部１３が、映像データ内の特徴量を抽出し、抽出した特徴量と、予め通信装置２０内のメモリ等に登録された対象物の特徴量とを照合する。対象物は、例えば、人、車両、障害物、交通信号、及び交通標識等である。周辺状態認識部１３は、抽出した特徴量が、登録された対象物の特徴量と一致した場合もしくは一致箇所の数が予め定められた値を超えた場合、映像データ内に歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っていると認識する。あるいは、当該カメラの位置および撮影方向における基準画像データを用意しておき、撮影により得られた画像と当該基準画像データとを比較することによって、基準画像データには含まれていない対象物の存在を認識してもよい。
　移動状態認識部１２は、車両３０内に構築されている車載ネットワークであるＣＡＮを介して車両３０のアクチュエータもしくはセンサ情報等の制御情報を取得する。移動状態認識部１２は、制御情報を用いて、車両３０の移動状態を認識する。移動状態とは、進行方向や進行速度、およびそれらの変化の有無や変化の程度を表すものであり、現在の状態に限らず、将来の予測値であってもよい。例えば、移動状態認識部１２は、制御情報としてウィンカー情報を取得することによって、車両３０が右折もしくは左折していること、もしくは、所定期間経過後に、右折もしくは左折することを認識する。また、移動状態認識部１２は、シフトレバー情報を取得することによって、車両３０が前進しているか後進しているかを認識する。移動状態認識部１２は、車速センサ情報を用いて、車両３０の速度もしくは加速度を認識もしくは予測してもよい。また、移動状態認識部１２は、ブレーキ情報を取得することによって、車両３０が減速していることを認識する。移動状態認識部１２は、車両３０の移動状態として認識した情報を通信制御部１４へ出力する。制御情報は、車両３０に搭載されたアクチュエータ等の機器の機器情報と言い換えられてもよい。また予測とは、推定や算出と言い換えられてもよい。
　もしくは、車両３０が自動運転車両である場合、車両の走行を制御するソフトウェアを用いて、車両３０の進路及び速度が制御される。この場合、移動状態認識部１２は、ソフトウェアから、車両３０の移動状態、例えば、前進しているのか、後進しているのか、さらに、右折するのか左折するのか等の情報を取得してもよい。移動状態認識部１２がソフトウェアから取得する情報は、走行制御情報と言い換えられてもよい。
　通信制御部１４は、移動状態認識部１２及び周辺状態認識部１３から受け取った情報を用いて、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４の優先度を決定する。ここで、図３を用いて、通信制御部１４が決定する優先度について説明する。図３においては、優先度は、０、１、及び２を用いて示され、優先度２が最も優先度が高く、優先度０が最も優先度が低いとする。
　通信制御部１４は、例えば、移動状態認識部１２から、車両３０が前進しているとの情報を取得したとする。この場合、通信制御部１４は、前カメラ３１の優先度を２と設定する。通信制御部１４は、車両３０が後進しているとの情報を取得した場合、後カメラ３２の優先度を２と設定する。
　次に、通信制御部１４は、車両３０が前進している場合、後カメラ３２から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを、周辺状態認識部１３から受け取った情報を用いて判定する。通信制御部１４は、車両３０が前進しており、後カメラ３２から取得した映像データにおいて、他車両等が写っている場合、つまり、後方から他車両等が接近している場合、後カメラ３２の優先度を１と設定する。通信制御部１４は、車両３０が前進しており、後カメラ３２から取得した映像データにおいて、他車両等が写っていない場合、つまり、後方から他車両等が接近していない場合、後カメラ３２の優先度を０と設定する。
　また、通信制御部１４は、車両３０が後進している場合、前カメラ３１から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを、周辺状態認識部１３から受け取った情報を用いて判定する。通信制御部１４は、車両３０が後進しており、前カメラ３１から取得した映像データにおいて、他車両等が写っている場合、つまり、他車両等が前方から接近している場合、前カメラ３１の優先度を１と設定する。通信制御部１４は、車両３０が後進しており、前カメラ３１から取得した映像データにおいて、他車両等が写っていない場合、つまり、前方から他車両等が接近していない場合、前カメラ３１の優先度を０と設定する。
　図３において説明した優先度の設定はあくまで一例である。例えば、優先度として０～３を定義し、車両３０が前進しており、かつ、前カメラ３１に他車両等が写っている場合、前カメラ３１をさらに優先度の高い値として３を設定してもよい。また、映像データに写っている対象に応じて、優先度を変更してもよい。
　通信制御部１４は、それぞれのカメラの優先度を決定すると、優先度に従った通信制御を行う。例えば、通信制御部１４は、通信部１５から通信部１１へ出力された映像データのうち、最も優先度の高いカメラにおいて撮影された映像データのみをネットワーク４５を介してサーバ装置４０へ送信するように制御してもよい。例えば、図３の例においては、通信制御部１４は、優先度が２と設定されたカメラにおいて撮影された映像データのみを送信するように制御してもよい。最も優先度の高いカメラにおいて撮影された映像のみをネットワーク４５を介してサーバ装置４０へ送信してもよい。これにより、ネットワーク４５の輻輳または帯域不足によって生じる、映像データの廃棄、消失もしくは大きな遅延の発生する可能性を減少させることができる。その結果、通信装置２０は、最も優先度の高いカメラにおいて撮影された映像データを、品質を低下させることなくサーバ装置４０へ送信することができる。
　または、通信制御部１４は、Priority-Based Flow Controlを適用してもよい。具体的には、通信部１５は、優先度別に分けた複数のバッファを用意し、それぞれのカメラにおいて撮影された映像データを、当該カメラの優先度に対応するバッファに格納する。通信制御部１４は、優先度の高いバッファから順に、格納されている映像データをサーバ装置４０へ送信してもよい。例えば、通信制御部１４は、はじめに、優先度が２と設定されたカメラにおいて撮影された映像データを格納するバッファ内の映像データをすべて送信する。通信制御部１４は、優先度が２と設定されたカメラにおいて撮影された映像データをすべて送信し終えた後に、優先度が１と設定されたカメラにおいて撮影された映像データを格納するバッファの映像データを送信してもよい。優先度の高いカメラにおいて撮影された映像データを他のカメラにおいて撮影された映像データよりも優先的にサーバ装置４０へ送信することによって、優先度の高いカメラにおいて撮影された映像データに確実に通信リソースを割り当てることができる。言い換えると、優先度の高いカメラにおいて撮影された映像データに対して割り当てる通信リソースが不足することを防止することができる。その結果、優先度の高いカメラにおいて撮影された映像データは、他のカメラにおいて撮影された映像データよりも高い品質にてサーバ装置４０へ送信される。
　続いて、図４を用いて通信装置２０における通信制御処理の流れについて説明する。はじめに、通信部１５は、車両３０に搭載されている複数のカメラから映像データを取得する（Ｓ１１）。次に、周辺状態認識部１３は、複数のカメラから取得した映像データを用いて、それぞれのカメラの周辺状態を認識する（Ｓ１２）。例えば、周辺状態認識部１３は、受け取った映像データのトラヒック特性に基づいてそれぞれのカメラの周辺状態を認識する。もしくは、周辺状態認識部１３は、受け取った映像データの画像内容の解析によりそれぞれのカメラの周辺状態を認識する。
　次に、移動状態認識部１２は、車両３０の移動状態を認識する（Ｓ１３）。例えば、移動状態認識部１２は、ＣＡＮを介して取得したアクチュエータもしくはセンサ情報等の制御情報を用いて、車両３０の移動状態を認識する。
　次に、通信制御部１４は、移動状態認識部１２及び周辺状態認識部１３から受け取った情報を用いて、車両３０に搭載されているカメラの優先度を決定する（Ｓ１４）。次に、通信制御部１４は、優先度が他のカメラよりも高いカメラにおいて撮影された映像データを他の映像データよりも高品質に送信できるように通信制御を行う（Ｓ１５）。例えば、通信制御部１４は、最も優先度が高いカメラの映像データのみをネットワーク４５を介してサーバ装置４０へ送信する。あるいは、通信制御部１４は、映像データを優先度別のバッファに格納し、優先度が高いバッファに格納された映像データから順に、映像データを送信する。
　なお、上記の通信制御部１４による通信制御に加え、各カメラまたは通信制御部１４は、各カメラの優先度または映像データの伝送品質に応じて、映像制御を行ってもよい。例えば、通信制御部１４は、映像制御として、映像ビットレート、映像フレームレート、解像度、エンコーディング規格に固有の品質パラメータなどを制御してもよい。なお、映像データの伝送品質とは、例えば、転送レート、遅延、パケットロス、ジッタなどである。
　例えば、通信制御部１４は、優先度が低いカメラあるいは多くのパケットロスが発生しているカメラに対し、映像ビットレートを下げる、映像フレームレートを下げる、もしくは解像度を下げる、といった指示を出してもよい。これにより、優先度が低く、使用可能な通信帯域が少ないカメラにおいて、使用可能な通信帯域に適した映像品質を用いることができる。結果として、例えば、優先度が低いカメラにおける映像データのパケットロス数を減らすことができる。
　また、通信制御部１４は、優先度が高いカメラに対し、映像ビットレートを上げる、映像フレームレートを上げる、もしくは解像度を上げる、といった指示を出してもよい。これにより、優先度が高く、使用可能な通信帯域が多いカメラにおいて、使用可能な通信帯域に適した映像品質を用いることができる。結果として、優先度が高いカメラにおける映像データの高品質化、例えば、高ビットレート化、高フレームレート化、高解像度化などを実現できる。
　以上説明したように、通信装置２０は、移動状態認識部１２において認識された車両３０の移動状態と、周辺状態認識部１３において認識された、それぞれのカメラの周辺状態とを用いて、それぞれのカメラの優先度を決定することができる。さらに、通信装置２０は、優先度の高いカメラにおいて撮影された映像データを、他のカメラよりも高品質にサーバ装置４０へ送信することができる。その結果、通信装置２０は、優先度の高いカメラにおいて撮影された映像データ、つまり、重要度の高いデータの品質を高く維持して、当該データをサーバ装置４０へ送信することができる。
　（実施の形態３）
　続いて、図５を用いて実施の形態３にかかる通信装置５０について説明する。通信装置５０における周辺状態認識部１３は、車両３０に搭載されているカメラ以外のセンサ３５から取得した情報を用いて、車両３０の周辺状態を認識する。例えば、車両３０には、ミリ波レーダ、赤外線センサ、超音波ソナー、もしくはＬｉＤＡＲ（Light Detection and Ranging）等のセンサ３５が搭載されてもよい。周辺状態認識部１３は、それぞれのセンサ３５から取得した情報を用いて、車両３０の周辺に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在することを認識、もしくは検出してもよい。周辺状態認識部１３は、それぞれのセンサから取得した情報を組み合わせて用いることによって、車両３０の周辺に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在することを認識、もしくは検出してもよい。さらに、周辺状態認識部１３は、車両３０の周辺のどの位置に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在するかも認識する。例えば、周辺状態認識部１３は、車両３０の前方、後方、右方向、左方向の少なくとも１つの方向に歩行者等が存在するかを認識してもよい。
　また、車両３０は、それぞれのセンサから取得した情報を用いて、車両３０からどの程度離れた位置に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在するかを認識してもよい。
　通信制御部１４は、周辺状態認識部１３から車両３０の周辺のどの方向に歩行者等が検出されたかを示す情報を取得する。通信制御部１４は、移動状態認識部１２から取得した情報と、周辺状態認識部１３から取得した情報とを用いて、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４の優先度を決定する。例えば、通信制御部１４は、歩行者等が検出された方向に設置されたカメラに、歩行者等が写っているとみなして、図３に示されるように優先度を設定してもよい。
　以上説明したように、周辺状態認識部１３は、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４とは異なるセンサから取得した情報を用いて、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４の優先度を決定することができる。
　（実施の形態４）
　実施の形態４にかかる通信制御部１４が決定する優先度について説明する。
　通信制御部１４は、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測し、予測した情報を用いて車両３０に搭載されたカメラの優先度を決定することができる。
　初めに移動状態認識部１２による移動状態の予測について説明する。移動状態認識部１２は、車両３０に搭載された機器の機器情報、あるいは、車両３０の走行を制御するソフトウェアから取得できる走行制御情報などに基づいて、所定期間経過後の車両の移動状態を予測する。機器情報とは、車載のアクチュエータやセンサ等から取得できるウィンカー情報、シフトレバー情報、車速センサ情報、ブレーキ情報などである。例えば、移動状態認識部１２は、ウィンカー情報を用いることで、車両の右折もしくは左折を予測できる。移動状態認識部１２は、シフトレバー情報を用いることで、車両の前進もしくは後退の予測できる。また、走行制御情報とは、車両の操舵、制動、加減速、走行ルート等を含む情報である。これら走行制御情報は、車両３０の走行を制御するソフトウェアのほか、カーナビゲーションのような運転を支援するソフトウェアから取得してもよい。
　図６を用いて、ウィンカー情報によって車両３０の移動状態を予測して各カメラの優先度を決定する例を説明する。移動状態認識部１２は、ＣＡＮを介して取得したウィンカー情報を用いて、所定期間経過後の車両の移動方向を予測する。例えば、移動状態認識部１２は、右折を示すウィンカー情報を取得した場合、Ａ（Ａは０以上の整数）秒後に、車両３０が右方向へ移動すると予測する。また、移動状態認識部１２は、左折を示すウィンカー情報を取得した場合、Ａ秒後に、車両３０が左方向へ移動すると予測する。
　通信制御部１４は、移動状態認識部１２において、車両３０が左折を示すウィンカー情報に基づいて左方向へ移動すると予測された場合、左カメラ３４の優先度を２に設定する。通信制御部１４は、移動状態認識部１２において、車両３０が右折を示すウィンカー情報に基づいて右方向へ移動すると予測された場合、右カメラ３３の優先度を２に設定する。
　次に、通信制御部１４は、車両３０が右折すると予測された場合、左カメラ３４から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを判定する。通信制御部１４は、車両３０が右折すると予測され、左カメラ３４から取得した映像データにおいて、他車両等が写っている場合、つまり、左方向から他車両等が接近している場合、左カメラ３４の優先度を１と設定する。通信制御部１４は、車両３０が右折すると予測された場合、左カメラ３４から取得した映像データにおいて、他車両等が写っていない場合、つまり、左方向から他車両等が接近していない場合、左カメラ３４の優先度を０と設定する。
　また、通信制御部１４は、車両３０が左折すると予測された場合、右カメラ３３から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを判定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３から取得した映像データにおいて、他車両等が写っている場合、つまり、他車両等が右方向から接近している場合、右カメラ３３の優先度を１と設定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３から取得した映像データにおいて、他車両等が写っていない場合、つまり、右方向から他車両等が接近していない場合、右カメラ３３の優先度を０と設定する。
　続いて周辺状態認識部１３による周辺状態の予測について説明する。周辺状態認識部１３は、カメラ以外のセンサ３５から取得した情報、あるいは、当該カメラ以外の他カメラから取得した情報を用いて、所定期間経過後の、当該カメラの周辺状態を予測することができる。例えば、周辺状態認識部１３は、ＬｉＤＡＲ等のセンサから取得した情報を用いて、車両３０の周辺に存在する歩行者等との距離や方向を特定する。さらに、周辺状態認識部１３は、移動状態認識部１２から車両３０の速度に関する情報を取得してもよい。周辺状態認識部１３は、車両３０の周辺に存在する歩行者等との距離と、車両３０の速度に関する情報とを用いて、所定期間経過後に、カメラに歩行者等が写ることを予測してもよい。例えば、周辺状態認識部１３は、カメラにおいて撮影される映像に、歩行者等が予め定められた値よりも大きく表示される場合に、カメラに歩行者等が写ると予測してもよい。
　また、周辺状態認識部１３は、現在位置、進行方向、及び車両周辺の地図情報を用いて、所定期間経過後に、車両３０に搭載されたカメラに、歩行者等が写ることを予測してもよい。周辺状態認識部１３は、例えば、ＧＰＳ（Global Positioning System）等の全地球衛星測位システム（GNSS：Global Navigation Satellite System）を用いて現在位置及び進行方向を特定してもよい。さらに、周辺状態認識部１３は、通信装置２０（もしくは通信装置５０）内のメモリに格納されている地図情報を用いて、車両３０周辺の地図情報を抽出してもよい。もしくは、周辺状態認識部１３は、ネットワーク４５を介して他の装置に格納されている地図情報を取得し、取得した地図情報を用いて、車両３０周辺の地図情報を抽出してもよい。例えば、車両３０の周辺に交差点や合流点が存在する場合、所定期間経過後に、交差あるいは合流する他の道路の方向を撮影するカメラに、歩行者等が写ると予測してもよい。
　図７を用いて、車両３０の周辺状態を予測して各カメラの優先度を決定する例を説明する。通信制御部１４は、例えば、移動状態認識部１２から、車両３０が前進しているとの情報を取得したとする。この場合、通信制御部１４は、前カメラ３１の優先度を２と設定する。通信制御部１４は、車両３０が後進しているとの情報を取得した場合、後カメラ３２の優先度を２と設定する。
　次に、通信制御部１４は、車両３０が前進している場合、後カメラ３２が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が前進しており、後カメラ３２が撮影する映像データに、他車両等が写ると予測されている場合、つまり、後方から他車両等が接近していることが予測される場合、後カメラ３２の優先度を１と設定する。通信制御部１４は、車両３０が前進しており、後カメラ３２が撮影する映像データに、他車両等が写ると予測されない場合、つまり、後方から他車両等が接近することが予測されない場合、後カメラ３２の優先度を０と設定する。
　また、通信制御部１４は、車両３０が後進している場合、前カメラ３１が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が後進しており、前カメラ３１が撮影する映像データにおいて、他車両等が写ると予測されている場合、つまり、他車両等が前方から接近していることが予測される場合、前カメラ３１の優先度を１と設定する。通信制御部１４は、車両３０が後進しており、前カメラ３１が撮影する映像データに、他車両等が写ると予測されない場合、つまり、前方から他車両等が接近することが予測されない場合、前カメラ３１の優先度を０と設定する。
　続いて、図８を用いて、通信制御部１４が決定する優先度について、図６及び図７とは異なる優先度の決定方法について説明する。図８においては、通信制御部１４が、予測される車両の移動状態及び予測されるカメラの周辺状態を用いて、優先度を決定することが示されている。
　通信制御部１４は、移動状態認識部１２において、車両３０が左折を示すウィンカー情報に基づいて左方向へ移動すると予測された場合、左カメラ３４の優先度を２に設定する。通信制御部１４は、移動状態認識部１２において、車両３０が右折を示すウィンカー情報に基づいて右方向へ移動すると予測された場合、右カメラ３３の優先度を２に設定する。
　次に、通信制御部１４は、車両３０が右折すると予測された場合、左カメラ３４が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が右折すると予測され、左カメラ３４が撮影する映像データに、他車両等が写ると予測されている場合、つまり、左方向から他車両等が接近していることが予測される場合、左カメラ３４の優先度を１と設定する。通信制御部１４は、車両３０が右折すると予測され、左カメラ３４が撮影する映像データに、他車両等が写ると予測されない場合、つまり、左方向から他車両等が接近することが予測されない場合、左カメラ３４の優先度を０と設定する。
　また、通信制御部１４は、車両３０が左折すると予測された場合、右カメラ３３が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３が撮影する映像データにおいて、他車両等が写ると予測されている場合、つまり、他車両等が右方向から接近していることが予測される場合、右カメラ３３の優先度を１と設定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３が撮影する映像データに、他車両等が写ると予測されない場合、つまり、右方向から他車両等が接近することが予測されない場合、右カメラ３３の優先度を０と設定する。
　上述のとおり、通信制御部１４は、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測し、予測した情報を用いて通信制御を実施することができる。なお、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測するタイミングと、通信制御部１４が通信制御を実施するタイミングとは、同一タイミングである必要はない。すなわち、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測した後に、通信制御部１４が通信制御を実施してもよい。このとき、通信制御に要する処理時間を考慮してもよい。例えば、時刻Ｔ０において移動状態認識部１２が、車両３０の移動状態が変化する時刻が時刻Ｔ１であると予測したとする。このとき、通信制御部１４が通信制御を実施するタイミングは、Ｔ０以上Ｔ１以下の任意のタイミングを採用することができる。また、通信制御として帯域制御を実施する場合、帯域制御の実行に要する処理時間をαとした場合、Ｔ０以上Ｔ１－α以下のタイミングに、通信制御を実施してもよい。
　以上説明したように、移動状態認識部１２は、所定期間経過後の車両３０の移動状態を予測することが可能であり、周辺状態認識部１３は、所定期間経過後の車両３０の周辺状態を予測することが可能である。さらに、通信制御部１４は、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方において、予測された情報を用いて、車両３０に搭載されたカメラの優先度を決定することができる。これより、通信制御部１４は、将来に発生し得る状況を考慮して、カメラの優先度を決定することができる。
　（実施の形態５）
　続いて、図９を用いて通信装置６０の構成例について説明する。通信装置６０は、図２の通信装置２０に、帯域評価部１６が追加された構成である。また、通信装置６０は、図５の通信装置５０に帯域評価部１６が追加された構成であってもよい。通信装置６０における通信装置２０と同様の構成については、詳細な説明を省略する。
　帯域評価部１６は、車両３０に搭載されているカメラとサーバ装置４０との間の通信回線のうち、少なくとも一部区間の可用帯域を評価する。可用帯域は、通信に使用することができる帯域である。一部区間は、例えば、通信装置６０とサーバ装置４０との間であってもよく、通信装置６０とカメラとの間であってもよく、通信装置６０と、モバイルネットワーク上に配置されている基地局との間であってもよい。
　帯域評価部１６は、評価対象となる区間において、通信部１１を介して評価用のプローブパケットを送信及び受信し、プローブパケットから得られる情報を用いて可用帯域を評価してもよい。可用帯域を評価するとは、可用帯域を算出すると言い換えられてもよい。例えば、帯域評価部１６は、複数のプローブパケットを送信し、プローブパケットの応答信号を受信した際のＲＴＴ（Round Trip Time）を用いて、可用帯域を評価してもよい。もしくは、帯域評価部１６は、受信パケットの間隔、つまり、遅延変動を観測することによって、可用帯域を評価してもよい。もしくは、帯域評価部１６は、受信した応答信号のＴＣＰウィンドウサイズを用いて、可用帯域を評価してもよい。プローブパケットを用いた可用帯域の評価手法は、一般的に用いられている他の手法が用いられてもよい。帯域評価部１６は、可用帯域の評価結果を通信制御部１４へ出力する。
　通信制御部１４は、通信装置６０とサーバ装置４０との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラにおいて撮影された映像データをサーバ装置４０へ送信する際の帯域を、可用帯域の中から比例配分する。通信制御部１４は、通信装置６０と基地局との間の区間の可用帯域を評価した場合も、決定した優先度に応じて、それぞれのカメラにおいて撮影された映像データをサーバ装置４０へ送信する際の帯域を、可用帯域の中から比例配分してもよい。例えば、通信制御部１４は、図３及び図６乃至図８に示される、優先度として２が設定されたカメラにおいて撮影された映像データには、優先度として０及び１が設定されたカメラにおいて撮影された映像データよりも多くの帯域を割り当ててもよい。
　もしくは、通信制御部１４は、優先度が高く設定されたカメラにおいて撮影された映像データから優先度が低く設定されたカメラにおいて撮影された映像データの順に、必要帯域を割り当ててもよい。例えば、それぞれのカメラにおいて撮影された映像データをすべてサーバ装置４０へ送信すると可用帯域を超過する場合、優先度が高く設定されたカメラにおいて撮影された映像データから順に、映像データを送信する際に必要となる帯域を割り当ててもよい。この場合、それぞれの映像データには、同じ量の帯域が割り当てられてもよい。また、可用帯域が全て割り当てられた場合、優先度が低く設定されたカメラにおいて撮影された映像データには、帯域が割り当てられないこともある。
　また、通信制御部１４は、カメラと通信装置６０との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラが映像データをサーバ装置４０へ送信する際の帯域を、可用帯域の中から比例配分してもよい。もしくは、通信制御部１４は、カメラと通信装置６０との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラが映像データをサーバ装置４０へ送信する際に必要となる必要帯域を、可用帯域の中から割り当ててもよい。
　また、通信制御部１４は、各カメラの映像送信性能を加味して、各カメラに割当てる帯域を決定してもよい。例えば、映像送信性能により定まる最大映像送信ビットレートが１０Ｍｂｐｓの場合、当該カメラに対して１０Ｍｂｐｓより多くの帯域を割当てても、割当て帯域全てを有効活用することはできない。この問題を解決するためには、当該カメラに割当てる帯域の上限値を最大映像送信ビットレートに制限すればよい。また、映像送信性能により定まる最小映像送信ビットレートが５００Ｋｂｐｓの場合、当該カメラに対して５００Ｋｂｐｓより少ない帯域を割当てると、最低品質での映像送信に支障が生じ得る。この問題を解決するためには、当該カメラに割当てる帯域の下限値を最小映像送信ビットレートに制限することが望ましい。
　以上説明したように、通信装置６０は、カメラとサーバ装置４０との間の通信回線のうち、少なくとも一部区間の可用帯域を評価することができる。さらに、通信装置６０は、優先度の高いカメラにおいて撮影された映像データに対して、優先的に可用帯域を割り当てることができる。これにより、優先度の高いカメラにおいて撮影された映像データの品質を、優先度の低いカメラにおいて撮影された映像データの品質よりも高く維持することができる。
　（実施の形態６）
　続いて、図１０を用いて実施の形態６にかかる通信システムの構成例について説明する。図１０の通信システムは、車両９０、車両１００、ＡＰ（Access Point）８０、通信装置７０、サーバ装置４０、及びネットワーク４５を有している。車両９０及び車両１００は、例えば、工場内において用いられるＡＧＶ（Automated Guided Vehicle）であってもよい。
　車両９０は、カメラ９１及びカメラ９２を有している。さらに、車両１００は、カメラ１０１及びカメラ１０２を有している。車両９０及び車両１００に搭載されているカメラは、ＡＰ８０と無線通信を行う。無線通信は、例えば、無線ＬＡＮ通信であってもよい。車両９０及び車両１００に搭載されているカメラは、映像データをＡＰ８０を介して通信装置７０へ送信する。
　通信装置７０は、ＡＰ８０と接続している。図１０のその他の構成は、図２における通信システムと同様であるため詳細な説明を省略する。
　続いて、通信装置７０の構成例について説明する。通信装置７０は、図２における通信装置２０に、移動体識別部１７が追加された構成である。また、通信制御部１４は、通信部１５を介して、車両９０及び車両１００に搭載されているカメラが送信する映像データに対して通信制御を行う。通信装置７０におけるその他の構成は、図２における通信装置２０と同様であるため詳細な説明を省略する。
　移動体識別部１７は、通信部１５を介して車両９０及び車両１００に搭載されているカメラから送信された映像データを取得する。通信装置７０は、複数の車両から、映像データを取得する。そのため、それぞれの映像データが、どの車両に設置されたカメラにおいて撮影された映像データかを識別する必要がある。そこで、移動体識別部１７は、カメラ９１、カメラ９２、カメラ１０１、及びカメラ１０２において撮影された映像データの相互関係に基づいて、同じ車両に設置されているカメラ群を特定する。
　映像データの相互関係は、例えば、それぞれの映像データの相関関係と言い換えられてもよい。それぞれの映像データの相関関係は、例えば、それぞれの映像データにおける映像の変化の有無や変化の速度が一致する、もしくは、変化の速度が類似している等である場合、相関が高いと言える。また、それぞれの映像データの相関関係は、それぞれの映像データから特定される進行方向が一致している場合、相関が高いと言える。また、それぞれの映像データの相関関係は、同一時刻あるいは一定の時間以内に、それぞれの映像データに同一の対象物が含まれている場合、相関が高いと言える。
　移動体識別部１７は、それぞれの映像データの画像内容の解析を行うことによって、相関が予め定められた閾値よりも高い映像データを特定し、特定した映像データを撮影したカメラ群が、同じ車両に設置されていると判定する。
　通信制御部１４は、例えば、特定されたカメラ群毎、つまり、特定された車両毎に、図３、図６乃至図８に示されるように優先度を決定してもよい。また、通信制御部１４は、映像データと、カメラ群を識別する情報とを関連付けて、映像データ及びカメラ群を識別する情報をサーバ装置４０へ送信してもよい。
　以上説明したように、通信装置７０が、特定の車両に搭載されておらず、複数の車両から、それぞれの車両に搭載されたカメラにおいて撮影された映像データを取得することがある。このような場合であっても、通信装置７０は、映像データ間の相互関係を分析もしくは解析することによって、同じ車両に搭載されているカメラ群を特定することができる。また、通信装置７０が、映像データ及びカメラ群を識別する情報をサーバ装置４０へ送信することによって、サーバ装置４０は、車両毎の映像データを認識することができる。その結果、サーバ装置４０は、それぞれの車両の監視や制御を容易に行うことができる。
　続いて以下では、上述の実施形態で説明された、通信装置１０、通信装置２０、通信装置５０、通信装置６０、及び通信装置７０（以下、通信装置１０等とする）の構成例について説明する。
　図１１は、通信装置１０等の構成例を示すブロック図である。図１１を参照すると、通信装置１０等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。もしくは、ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。
　プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてシーケンス図及びフローチャートを用いて説明された通信装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
　メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。
　図１１の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された通信装置１０等の処理を行うことができる。
　図１１を用いて説明したように、通信装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信部と、
　前記移動体の移動状態を認識する移動状態認識部と、
　前記移動体の周辺状態を認識する周辺状態認識部と、
　前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部と、を備える通信装置。
　（付記２）
　前記センサ情報は、
　前記移動体を基点に、互いに異なる方向を撮影可能に前記移動体に設置された２以上のカメラにおいて撮影された映像データであり、
　前記通信制御部は、
　それぞれのカメラの優先度を決定し、優先度の高いカメラにおいて撮影された映像を優先度の低いカメラにおいて撮影された映像よりも高品質に送信できるように通信制御を行う、付記１に記載の通信装置。
　（付記３）
　前記周辺状態認識部は、
　それぞれの前記カメラにおいて撮影された映像データを用いて前記周辺状態を認識する、付記２に記載の通信装置。
　（付記４）
　前記周辺状態認識部は、
　それぞれの前記カメラにおいて撮影された映像データのトラヒック特性を用いて前記周辺状態を認識する、付記３に記載の通信装置。
　（付記５）
　前記周辺状態認識部は
　それぞれの前記カメラにおいて撮影された映像データの画像内容を解析して前記周辺状態を認識する、付記３に記載の通信装置。
　（付記６）
　前記周辺状態認識部は、
　前記移動体に設置されたミリ波レーダ、赤外線センサ、超音波ソナー、及びＬｉＤＡＲの少なくとも１つに基づいて前記周辺状態を認識する、付記２に記載の通信装置。
　（付記７）
　前記移動状態認識部は、
　前記移動体内に搭載されたネットワークを介して取得することができる前記移動体に搭載された機器の機器情報を用いて前記移動状態を認識する、付記１乃至６のいずれか１項に記載の通信装置。
　（付記８）
　前記移動状態は、
　前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて前記移動状態を認識する、付記１乃至６のいずれか１項に記載の通信装置。
　（付記９）
　前記移動状態認識部は、
　所定期間経過後の前記移動体の移動状態を予測し、
　前記周辺状態認識部は、
　所定期間経過後の前記移動体の周辺状態を予測し、
　前記通信制御部は、
　現在の移動状態もしくは所定期間経過後の移動状態と、現在の周辺状態もしくは所定期間経過後の周辺状態と、に基づいてそれぞれのセンサの優先度を決定する、付記１乃至８のいずれか１項に記載の通信装置。
　（付記１０）
　前記周辺状態認識部は、
　前記移動体の現在位置、前記移動体の進行方向、及び地図情報を用いて所定期間経過後の前記移動体の周辺状態を予測する、付記９に記載の通信装置。
　（付記１１）
　前記移動状態認識部は、
　前記移動体に搭載された機器の機器情報または前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて所定期間経過後の前記移動体の移動状態を予測する、付記９又は１０に記載の通信装置。
　（付記１２）
　前記センサ情報を送信する際に用いる通信回線において使用することができる可用帯域を算出する帯域算出部をさらに備え、
　前記通信制御部は、
　算出された可用帯域のうち、優先度の高いセンサにおいて検出されたセンサ情報に対して、優先度の低いセンサにおいて検出されたセンサ情報に対して割り当てる通信帯域よりも多くの通信帯域を割り当てる、付記１乃至１１のいずれか１項に記載の通信装置。
　（付記１３）
　前記通信部は、
　複数の前記移動体からセンサ情報を受信し、複数の前記センサ情報の相互関係に基づいて、同一移動体に搭載された少なくとも１以上のセンサを特定する移動体認識部をさらに備える、付記１乃至１２のいずれか１項に記載の通信装置。
　（付記１４）
　移動体の移動状態を認識し、
　前記移動体の周辺状態を認識し、
　前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
　優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
　前記センサ情報を送信する、通信制御方法。
　（付記１５）
　移動体の移動状態を認識し、
　前記移動体の周辺状態を認識し、
　前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
　優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
　前記センサ情報を送信する、ことをコンピュータに実行させるプログラム。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年１０月３１日に出願された日本出願特願２０１８－２０５３４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　通信装置
　１１　通信部
　１２　移動状態認識部
　１３　周辺状態認識部
　１４　通信制御部
　１５　通信部
　１６　帯域評価部
　１７　移動体識別部
　２０　通信装置
　３０　車両
　３１　前カメラ
　３２　後カメラ
　３３　右カメラ
　３４　左カメラ
　３５　センサ
　４０　サーバ装置
　４５　ネットワーク
　５０　通信装置
　６０　通信装置
　７０　通信装置
　８０　ＡＰ
　９０　車両
　９１　カメラ
　９２　カメラ
　１００　車両
　１０１　カメラ
　１０２　カメラ

Claims (15)

  1. 　移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信手段と、
    　前記移動体の移動状態を認識する移動状態認識手段と、
    　前記移動体の周辺状態を認識する周辺状態認識手段と、
    　前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御手段と、を備える通信装置。
  2. 　前記センサ情報は、
    　前記移動体を基点に、互いに異なる方向を撮影可能に前記移動体に設置された２以上のカメラにおいて撮影された映像データであり、
    　前記通信制御手段は、
    　それぞれのカメラの優先度を決定し、優先度の高いカメラにおいて撮影された映像を優先度の低いカメラにおいて撮影された映像よりも高品質に送信できるように通信制御を行う、請求項１に記載の通信装置。
  3. 　前記周辺状態認識手段は、
    　それぞれの前記カメラにおいて撮影された映像データを用いて前記周辺状態を認識する、請求項２に記載の通信装置。
  4. 　前記周辺状態認識手段は、
    　それぞれの前記カメラにおいて撮影された映像データのトラヒック特性を用いて前記周辺状態を認識する、請求項３に記載の通信装置。
  5. 　前記周辺状態認識手段は
    　それぞれの前記カメラにおいて撮影された映像データの画像内容を解析して前記周辺状態を認識する、請求項３に記載の通信装置。
  6. 　前記周辺状態認識手段は、
    　前記移動体に設置されたミリ波レーダ、赤外線センサ、超音波ソナー、及びＬｉＤＡＲの少なくとも１つに基づいて前記周辺状態を認識する、請求項２に記載の通信装置。
  7. 　前記移動状態認識手段は、
    　前記移動体内に搭載されたネットワークを介して取得することができる前記移動体に搭載された機器の機器情報を用いて前記移動状態を認識する、請求項１乃至６のいずれか１項に記載の通信装置。
  8. 　前記移動状態は、
    　前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて前記移動状態を認識する、請求項１乃至６のいずれか１項に記載の通信装置。
  9. 　前記移動状態認識手段は、
    　所定期間経過後の前記移動体の移動状態を予測し、
    　前記周辺状態認識手段は、
    　所定期間経過後の前記移動体の周辺状態を予測し、
    　前記通信制御手段は、
    　現在の移動状態もしくは所定期間経過後の移動状態と、現在の周辺状態もしくは所定期間経過後の周辺状態と、に基づいてそれぞれのセンサの優先度を決定する、請求項１乃至８のいずれか１項に記載の通信装置。
  10. 　前記周辺状態認識手段は、
    　前記移動体の現在位置、前記移動体の進行方向、及び地図情報を用いて所定期間経過後の前記移動体の周辺状態を予測する、請求項９に記載の通信装置。
  11. 　前記移動状態認識手段は、
    　前記移動体に搭載された機器の機器情報または前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて所定期間経過後の前記移動体の移動状態を予測する、請求項９又は１０に記載の通信装置。
  12. 　前記センサ情報を送信する際に用いる通信回線において使用することができる可用帯域を算出する帯域算出手段をさらに備え、
    　前記通信制御手段は、
    　算出された可用帯域のうち、優先度の高いセンサにおいて検出されたセンサ情報に対して、優先度の低いセンサにおいて検出されたセンサ情報に対して割り当てる通信帯域よりも多くの通信帯域を割り当てる、請求項１乃至１１のいずれか１項に記載の通信装置。
  13. 　前記通信手段は、
    　複数の前記移動体からセンサ情報を受信し、複数の前記センサ情報の相互関係に基づいて、同一移動体に搭載された少なくとも１以上のセンサを特定する移動体認識手段をさらに備える、請求項１乃至１２のいずれか１項に記載の通信装置。
  14. 　移動体の移動状態を認識し、
    　前記移動体の周辺状態を認識し、
    　前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
    　優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
    　前記センサ情報を送信する、通信制御方法。
  15. 　移動体の移動状態を認識し、
    　前記移動体の周辺状態を認識し、
    　前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
    　優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
    　前記センサ情報を送信する、ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
    　
PCT/JP2019/037161 2018-10-31 2019-09-24 通信装置、通信制御方法、及び非一時的なコンピュータ可読媒体 WO2020090285A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/288,191 US20210409650A1 (en) 2018-10-31 2019-09-24 Communication apparatus, communication control method, and non-transitory computer readable medium
JP2020554818A JP7147867B2 (ja) 2018-10-31 2019-09-24 通信装置、通信制御方法、及びプログラム
JP2022149760A JP7435682B2 (ja) 2018-10-31 2022-09-21 通信制御方法、通信装置、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018205344 2018-10-31
JP2018-205344 2018-10-31

Publications (1)

Publication Number Publication Date
WO2020090285A1 true WO2020090285A1 (ja) 2020-05-07

Family

ID=70462193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037161 WO2020090285A1 (ja) 2018-10-31 2019-09-24 通信装置、通信制御方法、及び非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20210409650A1 (ja)
JP (2) JP7147867B2 (ja)
WO (1) WO2020090285A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230013007A1 (en) * 2021-07-19 2023-01-19 Woven Planet Holdings, Inc. Moving body control system, moving body control method, and moving body remote support system
WO2023234315A1 (ja) * 2022-05-31 2023-12-07 株式会社デンソー モビリティサービスシステム、及びデータ量の低減方法
JP7468278B2 (ja) 2020-09-29 2024-04-16 株式会社デンソー 通信制御装置、通信制御方法、および通信制御プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242986B (zh) * 2020-01-07 2023-11-24 阿波罗智能技术(北京)有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06118174A (ja) * 1992-10-06 1994-04-28 Nissan Motor Co Ltd 衝突判断装置
JP2001061185A (ja) * 1999-08-19 2001-03-06 Denso Corp 車両間通信装置
JP2005222307A (ja) * 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像表示システム及び画像表示方法
JP2007013497A (ja) * 2005-06-29 2007-01-18 Honda Motor Co Ltd 画像送信装置
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2012053585A (ja) * 2010-08-31 2012-03-15 Equos Research Co Ltd 情報共有システム
JP2015158421A (ja) * 2014-02-24 2015-09-03 株式会社デンソー 補正値生成装置、故障診断装置、補正値生成プログラム、および故障診断プログラム
JP2016502627A (ja) * 2012-11-08 2016-01-28 テネコ マルゾッチ エス．アール．エル． 電磁弁付フォークアッセンブリ
JP2016032258A (ja) * 2014-07-30 2016-03-07 Kddi株式会社 映像送信装置、映像送信方法及び映像送信プログラム
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298851B2 (ja) 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
CN101263548B (zh) * 2005-09-15 2010-05-26 夏普株式会社 影像传送装置和使用该装置的显示系统
JP4679415B2 (ja) 2006-04-03 2011-04-27 シャープ株式会社 通信システム及び通信方法
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
JP5078793B2 (ja) 2008-07-29 2012-11-21 三菱電機株式会社 無線通信装置および中央制御無線通信装置
JP2010173366A (ja) 2009-01-27 2010-08-12 Mitsubishi Electric Corp 車載ネットワーク装置
JP5436056B2 (ja) 2009-06-08 2014-03-05 アルパイン株式会社 障害物検出装置および障害物検出方法
US20140002651A1 (en) * 2012-06-30 2014-01-02 James Plante Vehicle Event Recorder Systems
US20150158495A1 (en) 2013-12-05 2015-06-11 Elwha Llc Systems and methods for reporting characteristics of operator performance
US10367869B2 (en) * 2014-12-30 2019-07-30 Ford Global Technologies, Llc Remote vehicle control and operation
CA3034350A1 (en) * 2016-08-26 2018-03-01 Sony Corporation Moving object control apparatus, moving object control method, and moving object
JP7139717B2 (ja) * 2018-06-26 2022-09-21 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
EP3816666A4 (en) * 2018-06-29 2021-08-11 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, IMAGING DEVICE, COMPUTER PROGRAM, INFORMATION PROCESSING SYSTEM AND MOBILE DEVICE

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06118174A (ja) * 1992-10-06 1994-04-28 Nissan Motor Co Ltd 衝突判断装置
JP2001061185A (ja) * 1999-08-19 2001-03-06 Denso Corp 車両間通信装置
JP2005222307A (ja) * 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像表示システム及び画像表示方法
JP2007013497A (ja) * 2005-06-29 2007-01-18 Honda Motor Co Ltd 画像送信装置
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2012053585A (ja) * 2010-08-31 2012-03-15 Equos Research Co Ltd 情報共有システム
JP2016502627A (ja) * 2012-11-08 2016-01-28 テネコ マルゾッチ エス．アール．エル． 電磁弁付フォークアッセンブリ
JP2015158421A (ja) * 2014-02-24 2015-09-03 株式会社デンソー 補正値生成装置、故障診断装置、補正値生成プログラム、および故障診断プログラム
JP2016032258A (ja) * 2014-07-30 2016-03-07 Kddi株式会社 映像送信装置、映像送信方法及び映像送信プログラム
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468278B2 (ja) 2020-09-29 2024-04-16 株式会社デンソー 通信制御装置、通信制御方法、および通信制御プログラム
US20230013007A1 (en) * 2021-07-19 2023-01-19 Woven Planet Holdings, Inc. Moving body control system, moving body control method, and moving body remote support system
WO2023234315A1 (ja) * 2022-05-31 2023-12-07 株式会社デンソー モビリティサービスシステム、及びデータ量の低減方法

Also Published As

Publication number Publication date
US20210409650A1 (en) 2021-12-30
JP7147867B2 (ja) 2022-10-05
JP7435682B2 (ja) 2024-02-21
JPWO2020090285A1 (ja) 2021-10-14
JP2022191249A (ja) 2022-12-27

Similar Documents

Publication Publication Date Title
JP7435682B2 (ja) 通信制御方法、通信装置、及びプログラム
US11151868B2 (en) Remote vehicle control at intersections
CN110895674B (zh) 用于基于自我中心视觉的未来车辆定位的系统和方法
CN113376657B (zh) 用于自动驾驶车辆lidar数据的自动标记系统
JP2024073621A (ja) 視覚画像データを用いたオブジェクト属性の推定
CN111201787B (zh) 成像装置、图像处理装置和图像处理方法
US10643472B2 (en) Monitor apparatus and monitor system
US11042159B2 (en) Systems and methods for prioritizing data processing
JP7367031B2 (ja) 自動運転車両におけるセンサ同期性データ分析に用いるシステム
CN111417561B (zh) 实现移动运输工具的自动远程控制的服务器及移动运输工具的自动远程控制方法
JP7180576B2 (ja) 監視センタ、監視システム及び方法
CN112612272A (zh) 一种避障控制方法、电子设备及存储介质
JP7187806B2 (ja) 情報処理装置、システム、方法、及びコンピュータプログラム
CN111145569A (zh) 一种道路监测、车辆行驶控制方法、装置及车路协同系统
Schiegg et al. Object Detection Probability for Highly Automated Vehicles: An Analytical Sensor Model.
JP7070664B2 (ja) システム、そのサーバコンピュータ、制御方法及びコンピュータプログラム
US11710407B2 (en) Information processing system and information processing method
US20220094435A1 (en) Visible light communication apparatus, visible light communication method, and visible light communication program
JP7347502B2 (ja) 渋滞情報提供装置、渋滞情報処理方法及びプログラム
US20230343106A1 (en) Information processing apparatus, image transmission system, and information processing method
CN113196106A (zh) 信息处理设备、信息处理方法和程序
CN111710175B (zh) 交通信号灯的控制方法及装置
US20240127633A1 (en) Dynamic autonomous vehicle modem orchestration
WO2020017317A1 (ja) 信号処理装置、信号処理方法および信号処理プログラム
Al-Qassab et al. Active safety system for connected vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19877699

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020554818

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19877699

Country of ref document: EP

Kind code of ref document: A1