WO2022024268A1 - 通信制御方法、通信システム、及び送信装置 - Google Patents

通信制御方法、通信システム、及び送信装置 Download PDF

Info

Publication number
WO2022024268A1
WO2022024268A1 PCT/JP2020/029091 JP2020029091W WO2022024268A1 WO 2022024268 A1 WO2022024268 A1 WO 2022024268A1 JP 2020029091 W JP2020029091 W JP 2020029091W WO 2022024268 A1 WO2022024268 A1 WO 2022024268A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
image
quality
image pickup
priority
Prior art date
Application number
PCT/JP2020/029091
Other languages
English (en)
French (fr)
Inventor
浩一 二瓶
孝法 岩井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022539877A priority Critical patent/JP7448012B2/ja
Priority to PCT/JP2020/029091 priority patent/WO2022024268A1/ja
Priority to US18/017,453 priority patent/US20230283818A1/en
Publication of WO2022024268A1 publication Critical patent/WO2022024268A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present disclosure relates to a communication control method, a communication system, and a transmission device.
  • Self-driving cars are usually equipped with various sensors for recognizing surrounding conditions such as the presence or absence of pedestrians or the presence or absence of other vehicles.
  • the various sensors are, for example, a camera or radar, LiDAR (Light Detection and Ranging), or the like.
  • the information detected by various sensors is used for operation control and remote monitoring.
  • the communication device determines the priority of each camera mounted on the vehicle, and allocates a band for transmitting video to the server device to each camera according to the priority. It is stated that.
  • An object of the present disclosure is to provide a communication control method, a communication system, and a transmission device capable of preventing excessive bandwidth allocation to a specific device.
  • the observer who monitors the image displayed on the monitoring device that has received the image data of the image captured by the plurality of image pickup devices via the network is the image.
  • the quality of the experience felt when the user is visually recognized is estimated, and based on the estimated quality of the experience, the communication for transmitting the image captured by each of the imaging devices to the monitoring device via the network is controlled.
  • the communication system displays a transmission device that transmits video data of video captured by a plurality of image pickup devices via a network, and the video that receives the video via a network.
  • the transmission device includes a monitoring device, and the transmitting device estimates the perceived quality felt when the observer who monitors the image visually recognizes the image, and based on the estimated perceived quality, each of the image pickup devices. Controls the communication for transmitting the image captured in the above to the monitoring device via the network.
  • the observer who monitors the video displayed on the monitoring device that receives the video data of the video captured by the plurality of image pickup devices via the network displays the video.
  • the estimation unit that estimates the perceived quality when visually recognized and the communication for transmitting the image captured by each of the image pickup devices to the monitoring device via the network are controlled based on the estimated perceived quality.
  • a control unit and a control unit are provided.
  • FIG. It is a block diagram of the communication system which concerns on Embodiment 1.
  • FIG. It is a figure which shows the flow of the communication control processing which concerns on Embodiment 1.
  • FIG. It is a block diagram of the transmission device which concerns on Embodiment 2.
  • FIG. It is a figure which shows the control image of the vehicle which concerns on Embodiment 2.
  • FIG. It is a figure which shows the transition of the experience quality which concerns on Embodiment 2.
  • FIG. It is a figure which shows the flow of the communication control processing which concerns on Embodiment 2.
  • It is a figure which shows the flow of the band allocation processing which concerns on Embodiment 2.
  • the communication system of FIG. 1 has a transmission device 10, an image pickup device 20, and a monitoring device 30.
  • the transmitting device 10 communicates with the monitoring device 30 via the network 40.
  • the transmission device 10, the image pickup device 20, and the monitoring device 30 may be computer devices operated by the processor executing a program stored in the memory.
  • the network 40 may be, for example, an IP network.
  • the network 40 may be a communication network managed by a telecommunications carrier.
  • a communication network managed by a telecommunications carrier may be referred to as a mobile network.
  • the transmitting device 10 may be connected to the network 40 via a wireless communication line. When the transmitting device 10 connects to the network 40, it indicates a state in which the transmitting device 10 can communicate with the network 40.
  • the transmission device 10 has an estimation unit 11 and a communication control unit 12.
  • the components of the transmission device 10 such as the estimation unit 11 and the communication control unit 12 may be software or a module whose processing is executed by the processor executing a program stored in the memory.
  • the component of the transmission device 10 may be hardware such as a circuit or a chip.
  • the estimation unit 11 feels the quality of experience when the observer who monitors the image displayed on the monitoring device 30 that has received the image data of the image captured by the plurality of image pickup devices 20 via the network 40 visually recognizes the image. To estimate.
  • the image pickup device 20 may be, for example, a camera device. Further, although the transmission device 10 and the image pickup device 20 are shown as different devices in FIG. 1, the image pickup device 20 may be mounted on the transmission device 10. That is, the transmission device 10 and the image pickup device 20 may be an integrated device. Further, FIG. 1 shows a configuration in which a plurality of image pickup devices 20 are connected to a transmission device 10 via one communication line, but even if a communication line is set for each image pickup device 20. good.
  • the video may be, for example, a moving image or a still image.
  • the monitoring device 30 reproduces the video using the received video data.
  • the video data may be referred to as a video file, a video frame, or the like.
  • the monitoring device 30 may display the video captured by each imaging device 20 on a display unit such as a display. That is, the monitoring device 30 may divide the display area of the display and simultaneously display the images captured by the respective image pickup devices 20. Alternatively, the monitoring device 30 may synthesize video data from each of the plurality of image pickup devices 20 and display the video data as one video. At this time, the display size of all the video data may be the same, or the size may be different for each video data. Further, the monitoring device 30 may delete a part of the image area and display it on the display unit.
  • the experience quality is one of the indexes showing the quality of the image displayed by the monitoring device 30, and is an index showing the subjective evaluation by the viewer.
  • the communication control unit 12 controls communication for transmitting the image captured by each image pickup device 20 to the monitoring device 30 via the network 40 based on the estimated quality of experience.
  • Controlling communication may mean, for example, determining a coding parameter of video data to be transmitted to the monitoring device 30.
  • the coding parameter may be, for example, a band allocated for transmission of video data.
  • the communication control unit 12 may determine the coding parameters so as to enhance the perceived quality of the observer.
  • the communication control unit 12 may control communication based on the perceived quality of the image captured by each image pickup device 20 estimated by the estimation unit 11. Alternatively, the communication control unit 12 may control the communication in the estimation unit 11 based on the perceived quality estimated by comprehensively considering the images captured by the respective image pickup devices 20.
  • To estimate the perceived quality by comprehensively considering the images captured by each image pickup device 20 means to estimate the perceived quality felt when the observer simultaneously visually recognizes the images captured by the plurality of image pickup devices 20. May be.
  • a viewer visually recognizes a plurality of images at the same time if only the quality of the image captured by one image pickup device 20 is high, but the quality of the image captured by the other image pickup device 20 is low. The quality of the observer's experience may not be high. In such a case, in order to improve the perceived quality of the observer, it is necessary to improve the overall quality of the images captured by the plurality of image pickup devices 20.
  • the perceived quality that the observer feels when visually recognizing the images captured by the plurality of image pickup devices 20 at the same time may be the sum of the perceived qualities that the observer feels when visually recognizing each image.
  • the perceived quality of each image may be weighted. The weighting value may be determined, for example, according to the priority information of each video.
  • the estimation unit 11 feels when the observer who monitors the image displayed on the monitoring device 30 that has received the image data of the image captured by the plurality of image pickup devices 20 via the network 40 visually recognizes the image. Estimate the quality of experience (S11).
  • the communication control unit 12 controls communication for transmitting the video captured by each image pickup device 20 to the monitoring device 30 via the network 40 based on the estimated quality of experience (S12).
  • the transmission device 10 has the quality of experience felt when the observer who monitors the image displayed on the monitoring device 30 connected via the network 40 visually recognizes the image. Based on this, the communication for transmitting the video data is controlled. Further, the quality of experience of the observer is the quality felt when visually recognizing the images captured by the plurality of image pickup devices 20. Therefore, the communication control unit 12 does not determine the coding parameters so that only the video data of the specific image pickup device 20 has high quality, but the quality of the entire plurality of video data captured by each image pickup device 20. Determine the coding parameters to improve. As a result, the communication control unit 12 can avoid allocating an excessive band for transmitting the video data of the specific imaging device 20, and allocates the band so as to improve the quality of the plurality of video data as a whole. be able to.
  • the transmitting device 50 corresponds to the transmitting device 10 of FIG.
  • the transmission device 50 includes a communication unit 51, a communication quality acquisition unit 52, a reproduction environment acquisition unit 53, a coding control unit 54, a priority determination unit 55, a perceived quality calculation unit 56, a coding unit 57 to 60, and a camera 61. It has ⁇ 64.
  • the transmission device 50 may be mounted on a moving body.
  • the moving body may be, for example, a vehicle.
  • the vehicle may be, for example, an autonomous driving vehicle in which driving is autonomously executed without being operated by the driver, or a vehicle in which remote monitoring or driving support is performed.
  • the vehicle may be automatically driven or remotely monitored via the Internet.
  • the perceived quality of the observer who monitors the image taken by the image pickup device (camera) mounted on the vehicle as the image displayed on the monitoring device received via the Internet is estimated. To. In FIG. 4, it is shown that the perceived quality is estimated by a device different from the vehicle, but as described below, the perceived quality is estimated by the transmission device 50 mounted on the vehicle. May be good.
  • the cameras 61 to 64 may capture the surroundings of the vehicle. Specifically, the cameras 61 to 64 may be mounted at positions where the front, rear, left, and right directions of the vehicle can be photographed.
  • FIG. 3 shows a configuration in which the cameras 61 to 64 are used integrally with the transmission device 50.
  • the coding control unit 54 corresponds to the communication control unit 12 in FIG.
  • the experience quality calculation unit 56 corresponds to the estimation unit 11 in FIG.
  • FIG. 3 a function or operation different from that of the transmission device 10 of FIG. 1 will be mainly described, and a detailed description of the same function or operation as that of the transmission device 10 of FIG. 1 will be omitted.
  • the communication unit 51 communicates with the monitoring device 30 via the network 40. Further, the communication unit 51 communicates with the network 40 via the wireless communication line. That is, the communication unit 51 transmits the wireless frame to the network 40 and receives the wireless frame from the network 40.
  • the communication unit 51 may perform wireless communication using a wireless communication standard such as LTE (Long Term Evolution) or 5G (5 Generation) defined in 3GPP (3rd Generation Partnership Project).
  • the communication quality acquisition unit 52 acquires information on the quality of the communication path between the transmission device 50 and the monitoring device 30 from the monitoring device 30 via the communication unit 51.
  • the transmission device 50 may acquire information on the transmission time from the transmission of the video data to the reception of the video data by the monitoring device 30.
  • the communication quality acquisition unit 52 calculates the bit rate that can be transferred by the transmission device 50 by using the data size of the video data transmitted to the monitoring device 30 and the transmission time related to the video data.
  • the bit rate indicates the amount of data that can be transferred per unit time. Bit rate may be paraphrased as channel capacity, bandwidth, or simply bandwidth. Further, the bit rate calculated by the communication quality acquisition unit 52 may be referred to as a usable band.
  • the communication quality acquisition unit 52 outputs the calculated bit rate information to the coding control unit 54.
  • the calculation of the bit rate may be performed by the monitoring device 30, and in this case, the transmitting device 50 may acquire the result by the communication quality acquisition unit 52 via the communication unit 51.
  • the reproduction environment acquisition unit 53 acquires information on the reproduction environment in the monitoring device 30 from the monitoring device 30 via the communication unit 51.
  • the information regarding the reproduction environment may be information regarding the screen display in the monitoring device 30, the line of sight of the observer, the reproduction delay, and the like.
  • Information on the screen display includes, for example, whether or not the camera image captured by the cameras 61 to 64 is displayed, the display size of the camera image on the screen, the difference in the display size of each camera image, the distance from the screen to the observer, and the like. May be information about.
  • the information regarding the line of sight of the observer may be, for example, information regarding whether or not the observer is staring at the screen. Whether or not the observer is staring at the screen may be detected by, for example, a sensor that tracks the line of sight.
  • the reproduction environment acquisition unit 53 outputs information about the reproduction environment to the coding control unit 54.
  • the priority determination unit 55 determines priority information for a plurality of cameras. For example, the priority determination unit 55 determines the priority of the cameras 61 to 64. The priority of each camera may be determined based on the direction of travel of the vehicle. The traveling direction of the vehicle may be determined based on, for example, the shift labor information of the vehicle. Further, by using the steering wheel information or the turn signal information of the vehicle, it is possible to determine whether the vehicle turns right or left. Alternatively, the priority determination unit 55 may acquire information regarding the traveling direction of the vehicle from software that supports driving such as car navigation.
  • the priority of the camera that is shooting the traveling direction of the vehicle may be set higher than that of other cameras. Specifically, when the vehicle is moving forward, the priority of the camera that captures the front of the vehicle may be set higher than that of other cameras. Further, when the vehicle turns right, the priority of the camera that captures the right side of the vehicle may be set higher than that of other cameras.
  • the priority of each camera may be determined according to the object shown in the image taken by each camera. For example, if the captured image shows other vehicles, pedestrians, obstacles, traffic signals, or traffic signs, the camera that captured those images has a higher priority than the other cameras. May be done.
  • the priority determination unit 55 may determine the priority according to the type of lens used in the camera. For example, the priority determination unit 55 may raise the priority of a camera using a fisheye lens that can confirm a wide range when the vehicle is stopped or departs.
  • the priority determination unit 55 sets the priority of the camera with the highest priority to 4 among the cameras 61 to 64, sets the priority of the camera with the next priority to 3, and further sets the priority of the camera with the next priority to 3.
  • the priority may be 2.
  • the priority determination unit 55 may set the priority of the camera with the least priority to 1.
  • the priority values 1 to 4 determined by the priority determination unit 55 are examples, and other numerical values may be set.
  • the priority determination unit 55 outputs the determined priority p or P to the coding control unit 54.
  • the coding control unit 54 outputs the information acquired from the communication quality acquisition unit 52 and the reproduction environment acquisition unit 53 to the experience quality calculation unit 56. Further, the coding control unit 54 may output the bit rate, frame rate, resolution, and codec type assigned to the cameras 61 to 64 to the experience quality calculation unit 56.
  • the resolution may be the resolution of the video data applied when the transmission device 50 transmits to the monitoring device 30. For example, when the coding control unit 54 lowers the bit rate assigned to the camera, the frame rate and resolution when transmitting the video data of the video captured by the camera to the monitoring device 30 in order to improve the perceived quality. At least one of them may be lowered. Further, the coding control unit 54 may output the installation location of the cameras 61 to 64, the orientation of the cameras 61 to 64, the type of the camera, the speed of the vehicle, the operation information of the vehicle, and the like to the experience quality calculation unit 56.
  • the experience quality calculation unit 56 calculates the experience quality q using the information acquired from the coding control unit 54 as a parameter.
  • the experience quality q may be calculated by setting the information acquired from the coding control unit 54 as the parameter of f (x 1 , x 2 , ... X N ).
  • the observer conducts a subjective evaluation experiment in advance to evaluate the quality of the image by visually observing the image in which the parameter acquired in the experience quality calculation unit 56 is changed, and uses the experimental result to obtain the parameter and the experience quality q.
  • the relationship may be modeled. Machine learning such as deep learning may be used for this modeling.
  • the experience quality calculation unit 56 acquires information from the coding control unit 54, the experience quality calculation unit 56 may determine the experience quality q using a pre-generated model.
  • the experience quality calculation unit 56 outputs the calculated experience quality q to the coding control unit 54.
  • the coding control unit 54 determines the coding parameter by using the experience quality q acquired from the experience quality calculation unit 56 and the priority p acquired from the priority determination unit 55.
  • the coding control unit 54 defines the objective function A1 as the following equation (1).
  • pi indicates the priority of the camera i
  • q i indicates the perceived quality of the camera i.
  • the experience quality of the camera i is the experience quality evaluated by the observer who visually recognizes the image taken by the camera i.
  • n (n is an integer of 1 or more) indicates the number of cameras.
  • the coding control unit 54 defines the constraint condition B as the following equation (2).
  • r i indicates the bit rate of the camera i
  • C indicates the available band.
  • the coding control unit 54 may determine the coding parameter so that A1 becomes the maximum under the constraint condition B.
  • bit rate bandwidth
  • perceived quality when the observer visually recognizes each camera change as shown in FIG.
  • the horizontal axis of FIG. 5 shows the bit rate assigned to each camera whose unit is bps (bit per second).
  • the vertical axis shows the quality of experience when the observer visually recognizes the image using the MOS (Mean Opinion Score) value.
  • Assigning a bit rate to a camera may be paraphrased as determining a bit rate to be applied when transmitting video data of video captured by the camera to the monitoring device 30.
  • FIG. 5 shows that the fluctuation (slope) of the perceived quality is large in the low bit rate region, while the fluctuation (slope) of the perceived quality is small in the high bit rate region. That is, FIG. 5 shows that the increase in the bit rate is not proportional to the increase in the perceived quality. Further, the relationship between the bit rate and the experience quality is not limited to the graph of FIG. 5, and may be determined by another graph showing the relationship in which the increase in the bit rate and the increase in the experience quality are not proportional.
  • the coding control unit 54 changes the value of the perceived quality q by changing the bit rate assigned to each camera as a coding parameter so that the value of A1 in the equation (1) becomes the maximum.
  • the bit rate assigned to each camera may be determined.
  • the total bit rate assigned to each camera is subject to the constraint condition B of the equation (2).
  • the coding control unit 54 may determine at least one of the frame rate and the resolution applied to the video data of the video captured by each camera according to the determined bit rate.
  • the coding parameter controlled by the coding control unit 54 includes a bit rate, and may further include a frame rate and a resolution.
  • the coding control unit 54 outputs the determined coding parameter of the camera 61 to the coding unit 57. Further, the coding control unit 54 outputs the determined coding parameter of the camera 62 to the coding unit 58, outputs the determined coding parameter of the camera 63 to the coding unit 59, and encodes the determined camera 64. The parameter is output to the coding unit 60.
  • Each of the cameras 61 to 64 outputs the video data of the captured video to each of the coding units 57 to 60.
  • the coding unit 57 outputs, for example, video data to which a bit rate, a frame rate, and a resolution are applied as coding parameters acquired from the coding control unit 54 to the communication unit 51.
  • the coding units 58 to 60 output the video data to which the coding parameters acquired from the coding control unit 54 are applied to the communication unit 51.
  • the communication unit 51 transmits the video data acquired from the coding units 57 to 60 to the monitoring device 30 via the network 40.
  • the monitoring device 30 has a reproduction unit 31 and a communication unit 32.
  • the components of the monitoring device 30 such as the reproduction unit 31 and the communication unit 32 may be software or modules whose processing is executed by the processor executing a program stored in the memory.
  • the component of the monitoring device 30 may be hardware such as a circuit or a chip.
  • the communication unit 32 outputs the video data received from the transmission device 50 to the reproduction unit 31.
  • the reproduction unit 31 reproduces the acquired video data and displays the video on a display or the like built in the monitoring device 30 or used integrally with the monitoring device 30. The observer visually recognizes the image displayed on the display. Further, the reproduction unit 31 transmits information related to the screen display to the transmission device 50 via the communication unit 32.
  • the communication quality acquisition unit 52 acquires information regarding the quality of the communication path between the transmission device 50 and the monitoring device 30 (S21). For example, the communication quality acquisition unit 52 acquires information on the transmission time from the transmission device 50 transmitting the video data to the monitoring device 30 receiving the video data. Further, the communication quality acquisition unit 52 calculates the available band of the communication path after acquiring the information regarding the transmission time as the information regarding the quality of the communication path.
  • the usable band may be calculated by, for example, dividing the size of the transmitted video data and the transmission time.
  • the reproduction environment acquisition unit 53 acquires information on the reproduction environment in the monitoring device 30 from the monitoring device 30 via the communication unit 51 (S22).
  • the reproduction environment acquisition unit 53 may be information about the screen display in the monitoring device 30, the line of sight of the observer, the reproduction delay, and the like.
  • the priority determination unit 55 determines the priority of the cameras 61 to 64 (S23). For example, the priority determination unit 55 sets the priority of the camera 61 to 4, the priority of the camera 62 to 3, the priority of the camera 63 to 2, and the priority of the camera 64 to 1 based on the traveling direction of the vehicle. May be decided. Here, the higher the priority value, the more important the camera. An important camera indicates that the image taken by that camera is more important than the image taken by other cameras.
  • the experience quality calculation unit 56 calculates the experience quality q of the observer when the observer visually recognizes the image taken by each camera, using the information acquired from the coding control unit 54 as a parameter.
  • the coding control unit 54 outputs the information acquired from the communication quality acquisition unit 52 and the reproduction environment acquisition unit 53 to the experience quality calculation unit 56. Further, the coding control unit 54 may output the bit rate and frame rate assigned to the cameras 61 to 64, the resolution of the video captured by the cameras 61 to 64, and the codec type to the experience quality calculation unit 56. Further, the coding control unit 54 may output the installation location of the cameras 61 to 64, the orientation of the cameras 61 to 64, the type of the camera, the speed of the vehicle, the operation information of the vehicle, and the like to the experience quality calculation unit 56.
  • the coding control unit 54 determines the coding parameter using the experience quality q acquired from the experience quality calculation unit 56 and the priority p acquired from the priority determination unit 55.
  • FIG. 8 describes a flow of processing for determining a band to be allocated to each camera.
  • FIG. 8 shows detailed processing relating to steps S24 and S25 of FIG.
  • the coding control unit 54 calculates the value of the objective function when the band allocated to the cameras 61 to 64 is increased by a predetermined amount (S31).
  • p 1 in the equation (1) is the priority of the camera 61
  • q 1 is the perceived quality of the camera 61.
  • p 2 is the priority of the camera 62
  • q 2 is the experience quality of the camera 62
  • p 3 is the priority of the camera 63
  • q 3 is the experience quality of the camera 63
  • p 4 is the priority of the camera 64.
  • the coding control unit 54 calculates the experience quality of the camera 61 when 100 kbps is assigned to the camera 61, and calculates the value of the objective function using the calculated experience quality and priority. Similarly, the value of the objective function when 100 kbps is assigned to the camera 62, the value of the objective function when 100 kbps is assigned to the camera 63, and the value of the objective function when 100 kbps is assigned to the camera 64 are calculated. ..
  • the priority pi is a value determined in step S23 of FIG.
  • the experience quality q i is uniquely determined when the band (bit rate) is determined by using, for example, the graph showing the relationship between the experience quality and the band shown in FIG. Even if the bit rate is the same, if the perceived quality fluctuates depending on the frame rate, resolution, etc., the coding control unit 54 adjusts the frame rate, resolution, etc. so that the perceived quality is maximized at the bit rate. You may.
  • the coding control unit 54 compares the values of the respective objective functions and determines the camera to which the band is allocated (S32). For example, if the objective function when 100 kbps is assigned to the camera 61 is larger than the objective function when 100 kbps is assigned to another camera, the coding control unit 54 determines to allocate 100 kbps to the camera 61.
  • the coding control unit 54 determines whether or not the total band of each camera is below the available band (S33).
  • the usable band the value calculated by the communication quality acquisition unit 52 in step S21 of FIG. 7 is used. Specifically, a case where it is determined in step S32 to allocate 100 kbps to the camera 61 will be described. In this case, the total band of each camera is 100 kbps because 100 kbps is allocated to the camera 61 and the band is not allocated to the other cameras.
  • the coding control unit 54 determines that the total band of each camera is lower than the available band, the coding control unit 54 repeats the processes after step S31.
  • the coding control unit 54 determines the difference between the available band and the total band of each camera in step S31 and subsequent steps. It may be a predetermined increase amount.
  • step S32 it is assumed that the coding control unit 54 decides to allocate 100 kps to the camera 61.
  • the coding control unit 54 determines the perceived quality when 200 kbps is allocated to the camera 61 in a state where the band is not allocated to the cameras 62 to 64. Calculate and calculate the value of the objective function. Further, the coding control unit 54 calculates the value of each objective function when 100 kbps is assigned to each of the cameras 62 to 64 in a state where 100 kbps is assigned to the camera 61.
  • the coding control unit 54 determines in step S32 that the total band of each camera has reached the usable band, the coding control unit 54 ends the process of determining the coding parameter.
  • the transmission device 50 can determine the band applied to the video data of the video captured by the plurality of cameras in consideration of the priority and the perceived quality. That is, the transmission device 50 can prevent the band from being excessively allocated to the video data of the video shot by the camera having a high priority by considering the quality of experience.
  • the coding control unit 54 may use the objective function A2 in the equation (3) defined as follows instead of the objective function A1.
  • the coding control unit 54 may determine the coding parameter so that A2 becomes the maximum under the constraint condition B.
  • the objective function A2 is used to determine the band to be allocated to each camera so that the value of the objective function A1 per bit is maximized.
  • the upper limit of the band allocated to each camera may be set as in the equation (4).
  • q UB sets the upper limit of the experience quality.
  • the band allocation to the camera may be stopped.
  • the communication quality acquisition unit 52 may subtract the band allocated to the communication other than the communication for transmitting the video data of the video captured by the cameras 61 to 64 to the monitoring device 30 from the calculated usable band.
  • the communication other than the communication for transmitting the video data may be, for example, the communication for transmitting the sensor data detected by another sensor mounted on the transmission device 50.
  • the communication other than the communication for transmitting the video data may be the communication related to the application used by the user in the vehicle.
  • the communication quality acquisition unit 52 may output a value obtained by subtracting the band allocated to communication other than the communication for transmitting video data from the calculated usable band to the coding control unit 54.
  • the coding control unit 54 exceeds the value obtained by subtracting the band allocated to the communication other than the communication for transmitting the video data from the available band of the total band of each camera in the coding control unit 54. It may be determined whether or not it is.
  • the transmission device 50 can transmit the video data and other data according to the quality requested by the monitor of the monitoring device 30 and the like.
  • the coding parameter determination process in FIG. 8 may be used to determine a band to be allocated when transmitting data generated by a device other than the camera, such as a sensor, in addition to the camera. Further, if the communication for transmitting video data has a higher priority than the communication for transmitting the data detected by the sensor, the band may be preferentially allocated to the camera and then the band may be allocated to the sensor.
  • the transmission device 50 may periodically execute the communication control process in FIG. 7 and the coding parameter determination process in FIG. 8, or may be executed when the available band fluctuates significantly. Periodic may be, for example, a period of several hundred milliseconds to several seconds (typically one second). As a result, the transmission device 50 can change the coding parameters applied to the video data of the video captured by the cameras 61 to 64 according to changes in radio quality and the like. Alternatively, the transmission device 50 may execute the communication control process in FIG. 7 and the coding parameter determination process in FIG. 8 according to the operation of the vehicle. For example, the transmitting device 50 may execute the process shown in FIGS. 7 and 8 at the timing when it is found that the user makes a right turn or a left turn.
  • the vehicle is an autonomous vehicle, it is known that it will turn right or left from the operation of the autonomous vehicle or the planned travel route, and if it is a vehicle for which remote monitoring or driving support is provided, it will turn right or turn at the timing when the blinker is put out. It may turn out to turn left.
  • FIG. 9 shows detailed processing relating to steps S24 and S25 of FIG.
  • the coding control unit 54 uses the priority order as the priority information of the cameras 61 to 64.
  • the priority of the camera 61 is 1st
  • the priority of the camera 62 is 2nd
  • the priority of the camera 63 is 3rd
  • the priority of the camera 64 is 4th. It is assumed that the priority of each camera is determined by the priority determination unit 55 in step S23 of FIG. 7.
  • the coding control unit 54 allocates the band b1 so that the perceived quality of the camera 61 is q (S41).
  • a graph showing the relationship between the band b and the perceived quality q may be defined for each image of the camera.
  • the graph showing the relationship between the band b and the perceived quality q may be a graph similar to FIG.
  • the band b1 allocated so that the perceived quality when the image of the camera 61 is visually recognized is q follows the graph showing the relationship between the band b related to the camera 61 and the perceived quality q.
  • the coding control unit 54 determines whether or not the value obtained by subtracting the band b1 from the usable band calculated in step S21 of FIG. 7 exceeds the band b2 (S42).
  • the band b2 is a band allocated so that the perceived quality when the image of the camera 62 is visually recognized is q.
  • step S42 when the coding control unit 54 determines that the value obtained by subtracting the band b1 from the available band exceeds the band b2, the coding control unit 54 allocates the band b2 so that the perceived quality of the camera 62 becomes q ( S43).
  • the coding control unit 54 determines whether or not the value obtained by subtracting the bands b1 and b2 from the usable band calculated in step S21 of FIG. 7 exceeds the band b3 (S44).
  • the band b3 is a band allocated so that the perceived quality when the image of the camera 63 is visually recognized is q.
  • step S44 when the coding control unit 54 determines that the value obtained by subtracting the bands b1 and b2 from the available band exceeds the band b3, the coding control unit 54 sets the band b3 so that the perceived quality of the camera 63 becomes q. Allocate (S45).
  • the coding control unit 54 determines whether or not the value obtained by subtracting the bands b1, b2, and b3 from the usable band calculated in step S21 of FIG. 7 exceeds the band b4 (S46).
  • the band b4 is a band allocated so that the perceived quality when the image of the camera 64 is visually recognized is q.
  • step S46 when the coding control unit 54 determines that the value obtained by subtracting the bands b1, b2, and b3 from the available band exceeds the band b4, the perceived quality of the camera 64 becomes q. Allocate band b4 (S47).
  • step S42 when the coding control unit 54 determines that the value obtained by subtracting the band b1 from the available band does not exceed the band b2, the coding control unit 54 allocates all the bands that can be allocated to the camera 62 (S48).
  • the value obtained by subtracting the band b1 from the available band does not exceed the band b2 indicates that the value obtained by subtracting the band b1 from the available band is below the band b2.
  • step S44 when the coding control unit 54 determines that the value obtained by subtracting the bands b1 and b2 from the available band does not exceed the band b3, the coding control unit 54 allocates all the bands allottable to the camera 63 (S49). ..
  • step S46 when the coding control unit 54 determines that the value obtained by subtracting the bands b1, b2, and b3 from the available band does not exceed the band b4, the coding control unit 54 allocates all the bands that can be allocated to the camera 64. S50).
  • the coding control unit 54 may determine whether or not the value obtained by subtracting the band b1 from the available band exceeds twice the band b2.
  • the coding control unit 54 determines that the value obtained by subtracting the band b1 from the available band exceeds the band b2 ⁇ 2
  • the coding control unit 54 allocates the band b2 to the cameras 62 and 63 having the same priority.
  • the coding control unit 54 determines that the value obtained by subtracting the band b1 from the available band does not exceed the band b2 ⁇ 2, half of the remaining band is allocated to the camera 62 and the camera 63, respectively.
  • steps S42, S44, and S46 if the coding control unit 54 determines that the remaining bands do not exceed the bands b2, b3, or b4, respectively, the coding control unit 54 does not allocate the remaining bands and ends the process. May be good.
  • the band is allocated to the cameras 61 to 64 having different priorities so as to have the same experience quality q has been described, but the band is allocated so as to have different experience qualities according to the priority. May be assigned.
  • the coding control unit 54 allocates the band having the highest experience quality to the camera 61 having the highest priority, and allocates the band having the lowest experience quality to the camera 64 having the lowest priority. You may.
  • the transmission device 50 can determine the band applied to the video data of the video captured by the plurality of cameras in consideration of the priority and the experience quality. That is, the transmission device 50 can prevent the band from being excessively allocated to the video data of the video shot by the camera having a high priority by considering the quality of experience.
  • the transmission device 50 allocates a band in order from the camera having the highest priority so as to satisfy a predetermined experience quality, so as to enhance the overall experience quality by combining the images of the plurality of cameras. Can be transmitted to the monitoring device 30.
  • the experience quality to be satisfied according to the priority it is possible to further improve the overall experience quality by combining the images of all the cameras.
  • the image of a high-priority camera is an image that is more closely watched by the observer than the image of another camera.
  • the perceived quality of all the cameras is controlled to be the same. It is possible to improve the overall quality of experience rather than doing so.
  • the coding control unit 54 may allocate a minimum band to the cameras 61 to 64 before executing step S41, and then execute the processing after step S41. As a result, the coding control unit 54 can allocate the minimum band to each camera in order to transmit the video data to the monitoring device 30.
  • the transmission device 50 monitors the video data of the video captured by the cameras 61 to 64 from the usable band calculated by the communication quality acquisition unit 52.
  • the band allocated to communication other than the communication transmitted to may be subtracted.
  • the coding control unit 54 may subtract the band b allocated to each camera and the band allocated to communication other than the communication of video data from the available band. ..
  • the transmission device 50 may periodically execute the coding parameter determination process shown in FIG. 9, or may execute the process when the available band fluctuates significantly. As a result, the transmission device 50 can change the coding parameters applied to the video data of the video captured by the cameras 61 to 64 according to changes in radio quality and the like.
  • FIG. 10 is a block diagram showing a configuration example of a transmission device 10, a monitoring device 30, and a transmission device 50 (hereinafter, referred to as a transmission device 10 and the like).
  • the transmitting device 10 and the like include a network interface 1201, a processor 1202, and a memory 1203.
  • Network interface 1201 is used to communicate with network nodes (e.g., eNB, MME, P-GW,).
  • the network interface 1201 may include, for example, a network interface card (NIC) compliant with the IEEE802.3 series.
  • eNB represents involved Node B
  • MME represents Mobility Management Entity
  • P-GW represents Packet Data Network Gateway. IEEE stands for Institute of Electrical and Electronics Engineers.
  • the processor 1202 reads software (computer program) from the memory 1203 and executes it to perform processing of the video transmission terminal 10 or the like described by using the flowchart in the above-described embodiment.
  • Processor 1202 may be, for example, a microprocessor, MPU, or CPU.
  • Processor 1202 may include a plurality of processors.
  • Memory 1203 is composed of a combination of volatile memory and non-volatile memory. Memory 1203 may include storage located away from processor 1202. In this case, the processor 1202 may access the memory 1203 via an I / O (Input / Output) interface (not shown).
  • I / O Input / Output
  • the memory 1203 is used to store the software module group.
  • the processor 1202 can perform the processing of the transmission device 10 and the like described in the above-described embodiment.
  • each of the processors included in the transmitter 10 and the like according to the above-described embodiment is a program including one or a plurality of instructions for causing a computer to perform the algorithm described with reference to the drawings. To execute.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (ReadOnlyMemory), CD-Rs, Includes CD-R / W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of transient computer readable medium.
  • Examples of temporary computer readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • Appendix 1 An observer who monitors the image displayed on the monitoring device that receives the image data of the image captured by the plurality of image pickup devices via the network estimates the perceived quality that the observer feels when the image is visually recognized.
  • a communication control method in a transmission device that controls communication for transmitting an image captured by each of the image pickup devices to the monitoring device via a network based on the estimated quality of experience.
  • Appendix 2 The image pickup device and the transmission device are mounted on a moving body and are mounted on a moving body.
  • the experience quality is The communication control method according to Appendix 1, which is determined based on the state of the moving body.
  • a transmission device that transmits video data of video captured by multiple image pickup devices via a network, and A monitoring device for displaying the video received by receiving the video via a network is provided.
  • the transmitter is The observer who monitors the image estimates the quality of experience when he / she visually recognizes the image.
  • a communication system that controls communication for transmitting an image captured by each of the imaging devices to the monitoring device via a network based on the estimated quality of experience.
  • the image pickup device and the transmission device are mounted on a moving body and are mounted on a moving body.
  • the experience quality is The communication system according to Appendix 7, which is determined based on the state of the moving body.
  • the transmitter is The communication system according to Supplementary note 7 or 8, which controls the coding parameters of the video image captured by each of the image pickup devices.
  • the coding parameter is The communication system according to Appendix 9, which includes the bit rate of the video.
  • the transmitter is The communication system according to any one of Supplementary note 7 to 10, which controls the communication based on the priority information of each image pickup apparatus and the experience quality.
  • the priority information is The communication system according to Appendix 11, which indicates the priority, which is a value assigned to each of the image pickup devices, or the priority order of the image pickup device.
  • An estimation unit that estimates the perceived quality that a viewer who monitors the image displayed on the monitoring device that receives the image data of the image captured by the plurality of image pickup devices via the network estimates the perceived quality when the image is visually recognized.
  • a transmission device including a communication control unit that controls communication for transmitting an image captured by each of the image pickup devices to the monitoring device via a network based on the estimated quality of experience.
  • the image pickup device and the transmission device are mounted on a moving body and are mounted on a moving body.
  • the experience quality is The transmitter according to Appendix 13, which is determined based on the state of the moving body.
  • the communication control unit 13 The communication control unit 13.
  • the transmission device according to Appendix 13 or 14, which controls the coding parameters of the video image captured by each of the image pickup devices.
  • the coding parameter is The transmitter according to Appendix 15, which includes the bit rate of the video.
  • the communication control unit The transmitting device according to any one of Supplementary note 13 to 16, which controls the communication based on the priority information of each of the imaging devices and the perceived quality.
  • the priority information is The transmitter according to Appendix 17, which indicates the priority, which is a value assigned to each of the image pickup devices, or the priority order of the image pickup device.
  • Transmitter 11 Estimator 12 Communication control 20 Imaging device 30 Monitoring device 31 Reproduction unit 32 Communication unit 40 Network 50 Transmission device 51 Communication unit 52 Communication quality acquisition unit 53 Playback environment acquisition unit 54 Coding control unit 55 Priority determination unit 56 Experience quality calculation unit 57 Coding unit 58 Coding unit 59 Coding unit 60 Coding unit 61 Camera 62 Camera 63 Camera 64 Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

特定の装置に過剰に帯域が割り当てられることを防止することができる通信制御方法を提供することを目的とする。本開示にかかる通信制御方法は、複数の撮像装置（２０）において撮像された映像の映像データをネットワーク（４０）を介して受信した監視装置（３０）に表示される映像を監視する監視者が、映像を視認した際に感じる体感品質を推定し、推定された体感品質に基づいて、それぞれの撮像装置（２０）において撮像された映像をネットワークを介して監視装置へ送信するための通信を制御する。

Description

通信制御方法、通信システム、及び送信装置
　本開示は、通信制御方法、通信システム、及び送信装置に関する。
　近年、自動運転車の技術開発が進み、公道における自動運転車の走行実験が進められている。自動運転車には通常、歩行者の有無、もしくは他車両の有無等の周辺状態を認識するための各種センサが搭載されている。各種センサは、例えば、カメラもしくはレーダ、ＬｉＤＡＲ（Light Detection and Ranging）等である。各種センサにおいて検出された情報は、運転制御や遠隔監視に利用される。
　特許文献１には、通信装置が、車両に搭載されているそれぞれのカメラの優先度を決定し、優先度に応じてそれぞれのカメラに対して、映像をサーバ装置へ送信する際の帯域を割り当てることが記載されている。
国際公開第２０２０／０９０２８５号
　しかし、特許文献１に開示されている通信装置のように、複数のカメラのそれぞれの優先度に応じて帯域を割り当てた場合、優先度の高いカメラに過剰に帯域が割り当てられる可能性が高くなるという問題がある。
　本開示の目的は、特定の装置に過剰に帯域が割り当てられることを防止することができる通信制御方法、通信システム、及び送信装置を提供することにある。
　本開示の第１の態様にかかる通信制御方法は、複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する。
　本開示の第２の態様にかかる通信システムは、複数の撮像装置において撮像された映像の映像データをネットワークを介して送信する送信装置と、前記映像をネットワークを介して受信した前記映像を表示する監視装置と、を備え、前記送信装置は、前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する。
　本開示の第３の態様にかかる送信装置は、複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定する推定部と、推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する制御部と、を備える。
　本開示により、特定の装置に過剰に帯域が割り当てられることを防止することができる通信制御方法、通信システム、及び送信装置を提供することができる。
実施の形態１にかかる通信システムの構成図である。 実施の形態１にかかる通信制御処理の流れを示す図である。 実施の形態２にかかる送信装置の構成図である。 実施の形態２にかかる車両の制御イメージを示す図である。 実施の形態２にかかる体感品質の推移を示す図である。 実施の形態２にかかる監視装置の図である。 実施の形態２にかかる通信制御処理の流れを示す図である。 実施の形態２にかかる帯域割り当て処理の流れを示す図である。 実施の形態３にかかる帯域割り当て処理の流れを示す図である。 それぞれの実施の形態にかかる送信装置及び監視装置の構成図である。
　（実施の形態１）
　以下、図面を参照して本開示の実施の形態について説明する。図１を用いて実施の形態１にかかる通信システムの構成例について説明する。図１の通信システムは、送信装置１０、撮像装置２０、及び監視装置３０を有している。送信装置１０は、ネットワーク４０を介して監視装置３０と通信する。
　送信装置１０、撮像装置２０、及び監視装置３０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。ネットワーク４０は、例えば、IPネットワークであってもよい。もしくは、ネットワーク４０は、通信事業者が管理する通信ネットワークであってもよい。通信事業者が管理する通信ネットワークは、モバイルネットワークと称されてもよい。送信装置１０は、ネットワーク４０と無線通信回線を介して接続してもよい。送信装置１０がネットワーク４０に接続するとは、送信装置１０が、ネットワーク４０と通信を行うことができる状態を示す。
　続いて、送信装置１０の構成例について説明する。送信装置１０は、推定部１１及び通信制御部１２を有している。推定部１１及び通信制御部１２等の送信装置１０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、送信装置１０の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
　推定部１１は、複数の撮像装置２０において撮像された映像の映像データをネットワーク４０を介して受信した監視装置３０に表示される映像を監視する監視者が、映像を視認した際に感じる体感品質を推定する。
　撮像装置２０は、例えば、カメラ装置であってもよい。また、図１においては、送信装置１０と撮像装置２０とが異なる装置として示されているが、撮像装置２０は、送信装置１０に搭載されてもよい。つまり、送信装置１０と撮像装置２０とは、一体の装置であってもよい。また、図１においては、複数の撮像装置２０が、一つの通信回線を介して送信装置１０と接続している構成を示しているが、それぞれの撮像装置２０毎に通信回線が設定されてもよい。
　映像は、例えば、動画であってもよく、静止画であってもよい。監視装置３０は、受信した映像データを用いて映像を再生する。映像データは、映像ファイル、映像フレーム等と称されてもよい。
　監視装置３０は、例えば、複数の撮像装置２０のそれぞれから映像データを受信した場合、撮像装置２０毎に撮影された映像をディスプレイ等の表示部に表示してもよい。つまり、監視装置３０は、ディスプレイの表示領域を分割して、それぞれの撮像装置２０において撮像された映像を同時に表示してもよい。もしくは、監視装置３０は、複数の撮像装置２０のそれぞれから映像データを合成して、一つの映像として表示してもよい。このとき、すべての映像データの表示サイズを同一にしてもよく、映像データごとに異なるサイズにしてもよい。また、監視装置３０は、表示部に映像の一部領域を削除して表示してもよい。
　体感品質は、監視装置３０が表示する映像の品質を示す指標の一つであり、監視者による主観的な評価を示す指標である。
　通信制御部１２は、推定された体感品質に基づいて、それぞれの撮像装置２０において撮像された映像をネットワーク４０を介して監視装置３０へ送信するための通信を制御する。
　通信を制御するとは、例えば、監視装置３０へ送信する映像データの符号化パラメータを決定することであってもよい。符号化パラメータは、例えば、映像データの送信に割り当てられる帯域であってもよい。例えば、通信制御部１２は、監視者の体感品質を高めるように符号化パラメータを決定してもよい。
　通信制御部１２は、推定部１１において推定されたそれぞれの撮像装置２０において撮像された映像に関する体感品質に基づいて、通信を制御してもよい。もしくは、通信制御部１２は、推定部１１において、それぞれの撮像装置２０において撮像された映像を総合的に考慮して推定された体感品質に基づいて、通信を制御してもよい。
　それぞれの撮像装置２０において撮像された映像を総合的に考慮して体感品質を推定するとは、監視者が複数の撮像装置２０において撮像された映像を同時に視認した際に感じる体感品質を推定することであってもよい。一般的に、監視者が複数の映像を同時に視認する場合、一つの撮像装置２０において撮像された映像の品質のみが高くても、他の撮像装置２０において撮像された映像の品質が低い場合、監視者の体感品質は高くならないことがある。このような場合、監視者の体感品質を高めるには、複数の撮像装置２０において撮像された映像の総合的な品質を向上させる必要がある。
　例えば、監視者が複数の撮像装置２０において撮像された映像を同時に視認した際に感じる体感品質は、監視者がそれぞれの映像を視認した際に感じる体感品質の総和であってもよい。この場合、それぞれの映像を視認した際に感じる体感品質を足し合わせる際に、それぞれの映像の体感品質に重みづけを行ってもよい。重みづけの値は、例えば、それぞれの映像の優先情報に従って定められてもよい。
　続いて、図２を用いて実施の形態１にかかる送信装置１０における通信制御処理の流れについて説明する。はじめに、推定部１１は、複数の撮像装置２０において撮像された映像の映像データをネットワーク４０を介して受信した監視装置３０に表示される映像を監視する監視者が、映像を視認した際に感じる体感品質を推定する（Ｓ１１）。
　次に、通信制御部１２は、推定された体感品質に基づいて、それぞれの撮像装置２０において撮像された映像をネットワーク４０を介して監視装置３０へ送信するための通信を制御する（Ｓ１２）。
　以上説明したように、実施の形態１にかかる送信装置１０は、ネットワーク４０を介して接続されている監視装置３０に表示される映像を監視する監視者が映像を視認した際に感じる体感品質に基づいて、映像データを送信するための通信を制御する。また、監視者の体感品質は、複数の撮像装置２０において撮像された映像を視認した際に感じる品質である。そのため、通信制御部１２は、特定の撮像装置２０の映像データのみが高品質となるように符号化パラメータを決定するのではなく、それぞれの撮像装置２０において撮像された複数の映像データ全体の品質を向上させるように符号化パラメータを決定する。その結果、通信制御部１２は、特定の撮像装置２０の映像データを送信するために過剰に帯域を割り当てることを回避することができ、複数の映像データ全体の品質を向上させるように帯域を割り当てることができる。
　（実施の形態２）
　続いて、図３を用いて実施の形態２にかかる送信装置５０の構成例について説明する。送信装置５０は、図１の送信装置１０に相当する。送信装置５０は、通信部５１、通信品質取得部５２、再生環境取得部５３、符号化制御部５４、優先度決定部５５、体感品質算出部５６、符号化部５７～６０、及び、カメラ６１～６４を有している。
　送信装置５０は、移動体に搭載されてもよい。移動体は、例えば、車両であってもよい。車両は、例えば、運転者による操作が行われることなく、自律的に運転が実行される自動運転車であってもよく、遠隔監視もしくは運転支援が行われる車両であってもよい。例えば、図４に示すように、車両は、インターネットを介して、自動運転が行われてもよく、遠隔監視が行われてもよい。さらに、図４に示すように、車両に搭載された撮像装置（カメラ）において撮影された映像を、インターネットを介して受信した監視装置に表示される映像として監視する監視者の体感品質が推定される。図４においては、車両とは異なる装置において体感品質が推定されることが示されているが、以下において説明するように、体感品質の推定は、車両に搭載される送信装置５０において行われてもよい。カメラ６１～６４は、車両の周囲を撮影してもよい。具体的には、カメラ６１～６４は、車両の前後左右の方向を撮影することができる位置に取り付けられてもよい。図３は、カメラ６１～６４が、送信装置５０と一体として用いられる構成を示している。
　符号化制御部５４は、図１の通信制御部１２に相当する。体感品質算出部５６は、図１の推定部１１に相当する。図３においては、図１の送信装置１０と異なる機能もしくは動作について主に説明し、図１の送信装置１０と同様の機能もしくは動作に関する詳細な説明を省略する。
　通信部５１は、ネットワーク４０を介して監視装置３０と通信する。また、通信部５１は、無線通信回線を介して、ネットワーク４０と通信する。つまり、通信部５１は、無線フレームをネットワーク４０へ送信し、ネットワーク４０から無線フレームを受信する。例えば、通信部５１は、3GPP（3rd Generation Partnership Project）において規定されているLTE（Long Term Evolution）もしくは5G（5 Generation）等の無線通信規格を用いて、無線通信を行ってもよい。
　通信品質取得部５２は、通信部５１を介して監視装置３０から、送信装置５０と監視装置３０との間の通信経路の品質に関する情報を取得する。例えば、送信装置５０が映像データを送信してから、監視装置３０が映像データを受信するまでの伝送時間に関する情報を取得してもよい。
　通信品質取得部５２は、監視装置３０へ送信した映像データのデータサイズと、その映像データに関する伝送時間とを用いて、送信装置５０が転送可能なビットレートを算出する。ビットレートは、単位時間あたりに転送可能なデータ量を示す。ビットレートは、伝送路容量、帯域幅、もしくは単に帯域と言い換えられてもよい。また、通信品質取得部５２が算出したビットレートは、可用帯域と称されてもよい。通信品質取得部５２は、算出したビットレートに関する情報を符号化制御部５４へ出力する。このビットレートの算出は、監視装置３０において実施されてもよく、この場合、送信装置５０は、その結果を通信部５１を介して通信品質取得部５２で取得してもよい。
　再生環境取得部５３は、通信部５１を介して、監視装置３０における再生環境に関する情報を、監視装置３０から取得する。例えば、再生環境に関する情報は、監視装置３０における画面表示に関する情報、監視者の視線、及び再生遅延等であってもよい。画面表示に関する情報は、例えば、カメラ６１～６４において撮影されたカメラ映像の表示有無、画面上におけるカメラ映像の表示サイズ、それぞれのカメラ映像の表示サイズの違い、画面から監視者までの距離、等に関する情報であってもよい。監視者の視線に関する情報は、例えば、監視者が画面を凝視しているか否かに関する情報であってもよい。監視者が画面を凝視しているか否かは、例えば、視線を追跡するセンサ等によって検出されてもよい。
　再生環境取得部５３は、再生環境に関する情報を符号化制御部５４へ出力する。
　優先度決定部５５は、複数のカメラの優先情報を定める。例えば、優先度決定部５５は、カメラ６１～６４の優先度を決定する。各カメラの優先度は、車両の進行方向に基づいて決定されてもよい。車両の進行方向は、例えば、車両のシフトレーバー情報に基づいて決定されてもよい。さらに、車両のハンドル情報もしくはウインカー情報等を用いることによって、車両が右折するか左折するかを決定することができる。もしくは、優先度決定部５５は、カーナビゲーションのような運転を支援するソフトウェアから、車両の進行方向に関する情報を取得してもよい。
　例えば、車両の進行方向を撮影しているカメラの優先度が、他のカメラよりも高く設定されてもよい。具体的には、車両が前進している場合、車両の前方を撮影するカメラの優先度が、他のカメラよりも高く設定されてもよい。また、車両が右折する場合、車両の右側を撮影するカメラの優先度が、他のカメラよりも高く設定されてもよい。
　また、各カメラの優先度は、各カメラが撮影した映像に映っている対象物に応じて決定されてもよい。例えば、撮影した映像に、他の車両、歩行者、障害物、交通信号、もしくは交通標識が映っている場合には、それらの映像を撮影したカメラの優先度が、他のカメラよりも高く設定されてもよい。もしくは、優先度決定部５５は、カメラに用いられているレンズの種類に応じて、優先度を決定してもよい。例えば、優先度決定部５５は、車両が停車している場合もしくは発車する場合などには、広範囲を確認できる魚眼レンズを用いたカメラの優先度を高くしてもよい。
　優先度決定部５５は、例えば、カメラ６１～６４のうち、最も優先されるカメラの優先度を４とし、次に優先されるカメラの優先度を３とし、さらに、次に優先されるカメラの優先度を２としてもよい。優先度決定部５５は、最も優先されないカメラの優先度を１としてもよい。優先度決定部５５が決定する優先度の値１～４は、一例であり、他の数値が設定されてもよい。さらに、優先度決定部５５は、決定した優先度の値ｐと、任意の単調増加関数ｍ（ｘ）とを用いて、Ｐ＝ｍ（ｐ）のようにして、新たな優先度Ｐを算出してもよい。つまり、優先度決定部５５は、優先度ｐを、任意の単調増加関数ｍ（ｘ）を用いて新たな優先度Ｐに変換してもよい。これにより、例えば、最も優先されるカメラの優先度と、他のカメラの優先度とに設定される数値の差を大きくする、もしくは、小さくすることができる。優先度決定部５５は、決定した優先度ｐもしくはＰを符号化制御部５４へ出力する。
　符号化制御部５４は、通信品質取得部５２及び再生環境取得部５３から取得した情報を体感品質算出部５６へ出力する。さらに、符号化制御部５４は、カメラ６１～６４に割り当てるビットレート、フレームレート、解像度、コーデック種別を体感品質算出部５６へ出力してもよい。解像度は、送信装置５０が監視装置３０へ送信する際に適用する映像データの解像度であってもよい。例えば、符号化制御部５４は、カメラに割り当てるビットレートを下げた場合、体感品質を高めるために、そのカメラにおいて撮影された映像の映像データを監視装置３０へ送信する際に、フレームレート及び解像度の少なくとも一方を、下げてもよい。さらに、符号化制御部５４は、カメラ６１～６４の設置場所、カメラ６１～６４の向き、カメラの種類、車両の速度、車両の操作情報等を体感品質算出部５６へ出力してもよい。
　体感品質算出部５６は、符号化制御部５４から取得した情報をパラメータとして、体感品質ｑを算出する。例えば、体感品質ｑは、ある関数ｆ（ｘ１、ｘ２、・・・ｘＮ）（Ｎは１以上の整数）を用いて、ｑ＝ｆ（ｘ１、ｘ２、・・・ｘＮ）と定義されてもよい。この場合、体感品質ｑは、ｆ（ｘ１、ｘ２、・・・ｘＮ）のパラメータとして、符号化制御部５４から取得した情報を設定することによって、算出されてもよい。
　体感品質ｑを算出するｑ＝ｆ（ｘ１、ｘ２、・・・ｘＮ）の式は、例えば、ITU-T G.1070において定義された式を用いてもよい。ITU-T G.1070において定義された式は、既知の式であるため詳細な説明を省略する。
　もしくは、予め監視者が、体感品質算出部５６において取得されるパラメータが変更された映像を視認して映像の品質を評価する主観評価実験を行い、実験結果を用いて、パラメータと体感品質ｑとの関係をモデル化してもよい。このモデル化には、深層学習などの機械学習を用いてもよい。体感品質算出部５６は、符号化制御部５４から情報を取得すると、予め生成されたモデルを用いて、体感品質ｑを決定してもよい。
　体感品質算出部５６は、算出した体感品質ｑを符号化制御部５４へ出力する。
　符号化制御部５４は、体感品質算出部５６から取得した体感品質ｑ及び優先度決定部５５から取得した優先度ｐを用いて、符号化パラメータを決定する。
　例えば、符号化制御部５４は、目的関数Ａ１を、次の式（１）のように定義する。ｐｉは、カメラｉの優先度を示し、ｑｉは、カメラｉの体感品質を示す。カメラｉの体感品質とは、カメラｉにおいて撮影された映像を視認した監視者が評価する体感品質である。ｎ（ｎは１以上の整数）は、カメラの台数を示す。
Figure JPOXMLDOC01-appb-I000001
　さらに、符号化制御部５４は、制約条件Ｂを次の式（２）ように定義する。ｒｉは、カメラｉのビットレートを示し、Ｃは、可用帯域を示す。
Figure JPOXMLDOC01-appb-I000002
　符号化制御部５４は、制約条件Ｂのもとで、Ａ１が最大となるように、符号化パラメータを決定してもよい。
　例えば、各カメラに割り当てられるビットレート（帯域）と、監視者が各カメラを視認した際の体感品質とは、図５に示されるように変化することを前提としてもよい。図５の横軸は、単位をbps（bit per second）とする各カメラに割り当てられるビットレートを示している。縦軸は、監視者が映像を視認した際の体感品質をMOS（Mean Opinion Score）値を用いて示している。カメラにビットレートを割り当てるとは、カメラにおいて撮影された映像の映像データを監視装置３０へ送信する際に適用するビットレートを定める、と言い換えられてもよい。
　図５は、低ビットレート領域では、体感品質の変動（傾き）が大きい一方、高ビットレート領域では、体感品質の変動（傾き）が小さいことを示している。つまり、図５は、ビットレートの増加と、体感品質の増加とは比例しないことを示している。また、ビットレートと体感品質との関係は、図５のグラフに限定されず、ビットレートの増加と体感品質の増加とが比例しない関係を示す他のグラフによって定められてもよい。
　図３に戻り、符号化制御部５４は、符号化パラメータとして、各カメラに割り当てるビットレートを変化させることによって体感品質ｑの値を変化させ、式（１）のＡ１の値が最大となるように、各カメラに割り当てるビットレートを決定してもよい。各カメラに割り当てられるビットレートの合計は、式（２）の制約条件Ｂに従う。さらに、符号化制御部５４は、決定されたビットレートに応じて、各カメラにおいて撮影された映像の映像データに適用するフレームレート及び解像度の少なくとも一方を決定してもよい。符号化制御部５４が制御する符号化パラメータは、ビットレートを含み、さらに、フレームレート及び解像度を含んでもよい。
　符号化制御部５４は、決定したカメラ６１の符号化パラメータを符号化部５７へ出力する。さらに、符号化制御部５４は、決定したカメラ６２の符号化パラメータを符号化部５８へ出力し、決定したカメラ６３の符号化パラメータを符号化部５９へ出力し、決定したカメラ６４の符号化パラメータを符号化部６０へ出力する。
　カメラ６１～６４のそれぞれは、符号化部５７～６０のそれぞれに、撮影した映像の映像データを出力する。符号化部５７は、例えば、符号化制御部５４から取得した符号化パラメータとして、ビットレート、フレームレート、及び解像度を適用した映像データを、通信部５１へ出力する。同様に、符号化部５８～６０は、符号化制御部５４から取得した符号化パラメータを適用した映像データを通信部５１へ出力する。通信部５１は、符号化部５７～６０から取得した映像データを、ネットワーク４０を介して監視装置３０へ送信する。
　続いて、図６を用いて監視装置３０の構成例について説明する。監視装置３０は、再生部３１及び通信部３２を有している。再生部３１及び通信部３２等の監視装置３０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、監視装置３０の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
　通信部３２は、送信装置５０から受信した映像データを再生部３１へ出力する。再生部３１は、取得した映像データを再生し、監視装置３０に内蔵されるもしくは監視装置３０と一体として用いられるディスプレイ等に映像を表示する。監視者は、ディスプレイに表示された映像を視認する。また、再生部３１は、画面表示に関する情報を、通信部３２を介して送信装置５０へ送信する。
　続いて、図７を用いて実施の形態２にかかる送信装置５０における通信制御処理の流れについて説明する。はじめに、通信品質取得部５２は、送信装置５０と監視装置３０との間の通信経路の品質に関する情報を取得する（Ｓ２１）。例えば、通信品質取得部５２は、送信装置５０が映像データを送信してから、監視装置３０が映像データを受信するまでの伝送時間に関する情報を取得する。さらに、通信品質取得部５２は、通信経路の品質に関する情報として、伝送時間に関する情報を取得した後に、通信経路の可用帯域を算出する。可用帯域の算出は、例えば送信した映像データのサイズと伝送時間の除算によって算出してもよい。
　次に、再生環境取得部５３は、通信部５１を介して、監視装置３０における再生環境に関する情報を、監視装置３０から取得する（Ｓ２２）。例えば、再生環境取得部５３は、監視装置３０における画面表示に関する情報、監視者の視線、及び再生遅延等であってもよい。
　次に、優先度決定部５５は、カメラ６１～６４の優先度を決定する（Ｓ２３）。例えば、優先度決定部５５は、車両の進行方向に基づいて、カメラ６１の優先度を４、カメラ６２の優先度を３、カメラ６３の優先度を２、カメラ６４の優先度を１のように決定してもよい。ここでは、優先度の数値が大きいほど、重要なカメラであることを示している。重要なカメラとは、そのカメラが撮影する映像が他のカメラにおいて撮影された映像よりも重要であることを示している。
　次に、体感品質算出部５６は、符号化制御部５４から取得した情報をパラメータとして、各カメラにおいて撮影された映像を監視者が視認した際の監視者の体感品質ｑを算出する。符号化制御部５４は、通信品質取得部５２及び再生環境取得部５３から取得した情報を体感品質算出部５６へ出力する。さらに、符号化制御部５４は、カメラ６１～６４に割り当てるビットレート、フレームレート、カメラ６１～６４が撮影した映像の解像度、コーデック種別を体感品質算出部５６へ出力してもよい。さらに、符号化制御部５４は、カメラ６１～６４の設置場所、カメラ６１～６４の向き、カメラの種類、車両の速度、車両の操作情報等を体感品質算出部５６へ出力してもよい。
　次に、符号化制御部５４は、体感品質算出部５６から取得した体感品質ｑ及び優先度決定部５５から取得した優先度ｐを用いて、符号化パラメータを決定する。
　続いて、図８を用いて、実施の形態２にかかる符号化パラメータの決定処理の流れについて説明する。図８においては、各カメラに割り当てる帯域を決定する処理の流れについて説明する。図８は、図７のステップＳ２４及びＳ２５に関する詳細な処理を示す。
　はじめに、符号化制御部５４は、カメラ６１～６４に割り当てる帯域を所定量増加させた場合の目的関数の値を算出する（Ｓ３１）。例えば、式（１）におけるｐ１をカメラ６１の優先度とし、ｑ１をカメラ６１の体感品質とする。さらに、ｐ２をカメラ６２の優先度とし、ｑ２をカメラ６２の体感品質とし、ｐ３をカメラ６３の優先度とし、ｑ３をカメラ６３の体感品質とし、ｐ４をカメラ６４の優先度とし、ｑ４をカメラ６４の体感品質とする。
　例えば、符号化制御部５４は、カメラ６１に１００ｋｂｐｓを割り当てた場合のカメラ６１の体感品質を算出し、算出した体感品質と優先度とを用いて目的関数の値を算出する。同様に、カメラ６２に１００ｋｂｐｓを割り当てた場合の目的関数の値と、カメラ６３に１００ｋｂｐｓを割り当てた場合の目的関数の値と、カメラ６４に１００ｋｂｐｓを割り当てた場合の目的関数の値とを算出する。優先度ｐｉは、図７のステップＳ２３において決定された値である。体感品質ｑｉは、例えば、図５に示す体感品質と帯域との関係を示すグラフを用いて、帯域（ビットレート）が決定された場合に、一意に定まる。ビットレートが同一であっても、フレームレート、解像度などによって体感品質が変動する場合には、符号化制御部５４は、当該ビットレートにおいて体感品質が最大になるようにフレームレートや解像度などを調整してもよい。
　符号化制御部５４は、それぞれの目的関数の値を比較し、帯域を割り当てるカメラを決定する（Ｓ３２）。例えば、カメラ６１に１００ｋｂｐｓを割り当てた場合の目的関数が、他のカメラに１００ｋｂｐｓを割り当てた場合の目的関数よりも大きい場合、符号化制御部５４は、カメラ６１に１００ｋｂｐｓを割り当てることを決定する。
　次に、符号化制御部５４は、各カメラの合計帯域が、可用帯域を下回っているか否かを判定する（Ｓ３３）。可用帯域は、図７のステップＳ２１において通信品質取得部５２において算出された値を用いる。具体的に、ステップＳ３２において、カメラ６１に１００ｋｂｐｓを割り当てると決定した場合について説明する。この場合、各カメラの合計帯域は、カメラ６１に１００ｋｂｐｓが割り当てられており、その他のカメラには帯域が割り当てられていないため、合計帯域は１００ｋｂｐｓである。符号化制御部５４は、各カメラの合計帯域が可用帯域を下回っていると判定した場合、ステップＳ３１以降の処理を繰り返す。また、可用帯域と、各カメラの合計帯域との差が所定増加量である１００ｋｂｐｓを下回る場合、ステップＳ３１以降において、符号化制御部５４は、可用帯域と各カメラの合計帯域との差を、所定増加量としてもよい。
　具体的には、はじめのステップＳ３２において、符号化制御部５４が、カメラ６１に１００ｋｐｓ割り当てることを決定しているとする。この場合、ステップＳ３３の次に繰り返して実施されるステップＳ３１において、符号化制御部５４は、カメラ６２～６４に帯域が割り当てられていない状態において、カメラ６１に２００ｋｂｐｓを割り当てた際の体感品質を算出し、目的関数の値を算出する。さらに、符号化制御部５４は、カメラ６１に１００ｋｂｐｓ割り当てられている状態において、それぞれのカメラ６２～６４に１００ｋｂｐｓを割り当てた際のそれぞれの目的関数の値を算出する。
　符号化制御部５４は、ステップＳ３２において、各カメラの合計帯域が可用帯域に達したと判定した場合、符号化パラメータの決定処理を終了する。
　以上説明したように、実施の形態２にかかる送信装置５０は、複数のカメラにおいて撮影された映像の映像データに適用する帯域を、優先度と体感品質とを考慮して決定することができる。つまり、送信装置５０は、体感品質を考慮することによって、優先度の高いカメラにおいて撮影された映像の映像データに対して過度に帯域が割り当てられることを防止することができる。
　また、符号化制御部５４は、目的関数Ａ１の代わりに、次のように定義された式（３）における目的関数Ａ２を用いてもよい。符号化制御部５４は、制約条件Ｂのもとで、Ａ２が最大となるように、符号化パラメータを決定してもよい。
Figure JPOXMLDOC01-appb-I000003
　目的関数Ａ２は、１ビットあたりの目的関数Ａ１の値が最大となるように、各カメラに割り当てる帯域を決定するために用いられる。
　また、各カメラに割り当てる帯域に上限を、式（４）のように定めてもよい。ｑＵＢは、体感品質の上限の値を定めている。
Figure JPOXMLDOC01-appb-I000004
　割り当てる帯域を増加していった場合に、体感品質がｑＵＢに達した場合に、そのカメラに対する帯域の割り当てを停止してもよい。
　また、通信品質取得部５２は、算出した可用帯域から、カメラ６１～６４において撮影された映像の映像データを監視装置３０へ送信する通信以外の通信に割り当てる帯域を減算してもよい。映像データを送信する通信以外の通信とは、例えば、送信装置５０に搭載された他のセンサが検知したセンサデータを送信するための通信であってもよい。もしくは、映像データを送信する通信以外の通信とは、車両に乗車中のユーザが使用するアプリケーションに関する通信であってもよい。
　通信品質取得部５２は、算出した可用帯域から、映像データを送信する通信以外の通信に割り当てる帯域を減算した値を、符号化制御部５４へ出力してもよい。符号化制御部５４は、図８のステップＳ３３において、符号化制御部５４は、各カメラの合計帯域が、可用帯域から、映像データを送信する通信以外の通信に割り当てる帯域を減算した値を上回っているか否かを判定してもよい。
　これにより、送信装置５０は、映像データ及びその他のデータを、監視装置３０の監視者等が要望する品質に合わせて送信することができる。
　また、図８における符号化パラメータの決定処理は、カメラに加えて、センサ等のカメラ以外の装置において生成されたデータを送信する際に割り当てる帯域を決定するために用いられてもよい。さらに、映像データを送信する通信が、センサにおいて検出されたデータを送信する通信よりも優先度が高い場合、カメラに優先的に帯域を割り当て、その後、センサに帯域を割り当ててもよい。
　さらに、送信装置５０は、図７における通信制御処理、及び図８における符号化パラメータの決定処理を、定期的に実行してもよく、可用帯域が大きく変動した際に実行してもよい。定期的とは、例えば、数百ミリ秒から、数秒（典型的には１秒）周期であってもよい。これにより、送信装置５０は、無線品質の変化等に応じて、カメラ６１～６４が撮影した映像の映像データに適用する符号化パラメータを変更することができる。もしくは、送信装置５０は、図７における通信制御処理、及び図８における符号化パラメータの決定処理を、車の動作に応じて実行してもよい。例えば、送信装置５０は、右折もしくは左折すると判明したタイミングにおいて、図７及び図８における処理を実行してもよい。車両が自動運転車である場合、自動運転車両の動作もしくは走行予定経路から右折もしくは左折することが判明し、遠隔監視もしくは運転支援が行われる車両である場合、ウインカーを出したタイミングに、右折もしくは左折することが判明してもよい。
　（実施の形態３）
　続いて、図９を用いて実施の形態３にかかる符号化パラメータの決定処理の流れについて説明する。図９においては、各カメラに割り当てる帯域を決定する処理の流れについて説明する。図９は、図７のステップＳ２４及びＳ２５に関する詳細な処理を示す。図９において、符号化制御部５４は、カメラ６１～６４の優先情報として、優先順位を用いる。ここでは、カメラ６１の優先順位を１位とし、カメラ６２の優先順位を２位とし、カメラ６３の優先順位を３位とし、カメラ６４の優先順位を４位とすることを前提とする。各カメラの優先順位は、図７のステップＳ２３において、優先度決定部５５において決定されるとする。
　はじめに、符号化制御部５４は、カメラ６１の体感品質がｑとなるように帯域ｂ１を割り当てる（Ｓ４１）。ここでは、カメラの映像ごとに、帯域ｂと体感品質ｑとの関係を示すグラフが定められてもよい。帯域ｂと体感品質ｑとの関係を示すグラフは、図５に類似するグラフであってもよい。この場合、カメラ６１の映像を視認した際の体感品質がｑとなるように割り当てる帯域ｂ１は、カメラ６１に関する帯域ｂと体感品質ｑとの関係を示すグラフに従うとする。次に、符号化制御部５４は、図７のステップＳ２１において算出された可用帯域から、帯域ｂ１を減算した値が、帯域ｂ２を上回っているか否かを判定する（Ｓ４２）。帯域ｂ２は、カメラ６２の映像を視認した際の体感品質がｑとなるように割り当てる帯域である。
　ステップＳ４２において、符号化制御部５４は、可用帯域から、帯域ｂ１を減算した値が、帯域ｂ２を上回っていると判定した場合、カメラ６２の体感品質がｑとなるように帯域ｂ２を割り当てる（Ｓ４３）。
　次に、符号化制御部５４は、図７のステップＳ２１において算出された可用帯域から、帯域ｂ１及びｂ２を減算した値が、帯域ｂ３を上回っているか否かを判定する（Ｓ４４）。帯域ｂ３は、カメラ６３の映像を視認した際の体感品質がｑとなるように割り当てる帯域である。
　ステップＳ４４において、符号化制御部５４は、可用帯域から、帯域ｂ１及びｂ２を減算した値が、帯域ｂ３を上回っていると判定した場合、カメラ６３の体感品質がｑとなるように帯域ｂ３を割り当てる（Ｓ４５）。
　次に、符号化制御部５４は、図７のステップＳ２１において算出された可用帯域から、帯域ｂ１、ｂ２及びｂ３を減算した値が、帯域ｂ４を上回っているか否かを判定する（Ｓ４６）。帯域ｂ４は、カメラ６４の映像を視認した際の体感品質がｑとなるように割り当てる帯域である。
　ステップＳ４６において、符号化制御部５４は、可用帯域から、帯域ｂ１、ｂ２、及びｂ３を減算した値が、帯域ｂ４を上回っていると判定した場合、カメラ６４の体感品質がｑとなるように帯域ｂ４を割り当てる（Ｓ４７）。
　ステップＳ４２において、符号化制御部５４は、可用帯域から、帯域ｂ１を減算した値が、帯域ｂ２を上回っていないと判定した場合、カメラ６２に割り当て可能な全ての帯域を割り当てる（Ｓ４８）。可用帯域から帯域ｂ１を減算した値が、帯域ｂ２を上回っていないとは、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２を下回っていることを示す。
　ステップＳ４４において、符号化制御部５４は、可用帯域から、帯域ｂ１及びｂ２を減算した値が、帯域ｂ３を上回っていないと判定した場合、カメラ６３に割り当て可能な全ての帯域を割り当てる（Ｓ４９）。
　ステップＳ４６において、符号化制御部５４は、可用帯域から、帯域ｂ１、ｂ２及びｂ３を減算した値が、帯域ｂ４を上回っていないと判定した場合、カメラ６４に割り当て可能な全ての帯域を割り当てる（Ｓ５０）。
　図９においては、カメラ６１～６４のそれぞれが異なる優先順位である場合について説明したが、例えば、カメラ６２及び６３が同じ優先順位となる場合もある。このような場合、例えば、図９のステップＳ４２において、符号化制御部５４は、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２の２倍を上回っているか否かを判定してもよい。符号化制御部５４は、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２×２を上回っていると判定した場合、同じ優先順位であるカメラ６２及び６３に、帯域ｂ２を割り当てる。符号化制御部５４は、可用帯域から帯域ｂ１を減算した値が、帯域ｂ２×２を上回っていないと判定した場合、残りの帯域の半分の帯域を、カメラ６２及びカメラ６３にそれぞれ割り当てる。
　もしくは、ステップＳ４２、Ｓ４４、Ｓ４６において、符号化制御部５４は、それぞれ残りの帯域が帯域ｂ２、ｂ３、もしくはｂ４を上回っていないと判定した場合、残りの帯域を割り当てず、処理を終了してもよい。
　また、図９においては、優先順位の異なるカメラ６１～６４に対して、同じ体感品質ｑとなるように帯域を割り当てる場合について説明したが、優先順位に応じて異なる体感品質となるように帯域を割り当ててもよい。例えば、符号化制御部５４は、最も優先順位が高いカメラ６１に、体感品質が最も高くなるような帯域を割り当て、最も優先順位が低いカメラ６４に、体感品質が最も低くなるような帯域を割り当ててもよい。
　以上説明したように、実施の形態３にかかる送信装置５０は、複数のカメラにおいて撮影された映像の映像データに適用する帯域を、優先順位と体感品質とを考慮して決定することができる。つまり、送信装置５０は、体感品質を考慮することによって、優先順位の高いカメラにおいて撮影された映像の映像データに対して過度に帯域が割り当てられることを防止することができる。
　また、優先順位の高いカメラに多くの帯域を割り当てて、優先順位の高いカメラに関する体感品質を高めたとしても、他のカメラの映像に関する体感品質を高めることができなければ、全てのカメラの映像を合わせた総合的な体感品質を高めることができない。そのため、送信装置５０は、優先順位の高いカメラから順番に、所定の体感品質を満たすように帯域を割り当てることによって、複数のカメラの映像を合わせた総合的な体感品質を高めるように、映像データを監視装置３０へ送信することができる。
　さらに、優先順位に応じて、満たすべき体感品質を変更することによって、全てのカメラの映像を合わせた総合的な体感品質をさらに高めることができる。例えば、優先度の高いカメラの映像は、他のカメラの映像よりも、監視者によってより注視される映像といえる。このような場合、優先度の高いカメラの映像に関する体感品質を、他のカメラの映像に関する体感品質よりも高くするように帯域を割り当てることによって、全てのカメラの体感品質が同じとなるように制御するよりも、総合的な体感品質を高めることができる。
　また、符号化制御部５４は、ステップＳ４１を実行する前に、カメラ６１～６４に、最低限の帯域を割り当て、その後、ステップＳ４１以降の処理を実行してもよい。これにより、符号化制御部５４は、それぞれのカメラに、映像データを監視装置３０へ送信するために最低限の帯域を割り当てることができる。
　また、実施の形態３にかかる送信装置５０は、実施の形態２と同様に、通信品質取得部５２が、算出した可用帯域から、カメラ６１～６４において撮影された映像の映像データを監視装置３０へ送信する通信以外の通信に割り当てる帯域を減算してもよい。例えば、図９のステップＳ４２、Ｓ４４、及びＳ４６において、符号化制御部５４は、可用帯域から、それぞれのカメラに割り当てられる帯域ｂ及び映像データの通信以外の通信に割り当てる帯域を減算してもよい。
　さらに、送信装置５０は、図９における符号化パラメータの決定処理を、定期的に実行してもよく、可用帯域が大きく変動した際に実行してもよい。これにより、送信装置５０は、無線品質の変化等に応じて、カメラ６１～６４が撮影した映像の映像データに適用する符号化パラメータを変更することができる。
　図１０は、送信装置１０、監視装置３０、及び送信装置５０（以下、送信装置１０等と称する）の構成例を示すブロック図である。図１０を参照すると、送信装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノード（e.g., eNB、MME、P-GW、）と通信するために使用される。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。ここで、eNBはevolved Node B、MMEはMobility Management Entity、P-GWはPacket Data Network Gatewayを表す。IEEEは、Institute of Electrical and Electronics Engineersを表す。
　プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された映像送信端末１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
　メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。
　図１０の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された送信装置１０等の処理を行うことができる。
　図１０を用いて説明したように、上述の実施形態における送信装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、
　推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、送信装置における通信制御方法。
　（付記２）
　前記撮像装置及び前記送信装置は、移動体に搭載され、
　前記体感品質は、
　前記移動体の状態に基づいて決定される、付記１に記載の通信制御方法。
　（付記３）
　前記通信を制御する際に、
　それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、付記１又は２に記載の通信制御方法。
　（付記４）
　前記符号化パラメータは、
　前記映像のビットレートを含む、付記３に記載の通信制御方法。
　（付記５）
　前記通信を制御する際に、
　それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、付記１乃至４のいずれか１項に記載の通信制御方法。
　（付記６）
　前記優先情報は、
　それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、付記５に記載の通信制御方法。
　（付記７）
　複数の撮像装置において撮像された映像の映像データをネットワークを介して送信する送信装置と、
　前記映像をネットワークを介して受信した前記映像を表示する監視装置と、を備え、
　前記送信装置は、
　前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、
　推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、通信システム。
　（付記８）
　前記撮像装置及び前記送信装置は、移動体に搭載され、
　前記体感品質は、
　前記移動体の状態に基づいて決定される、付記７に記載の通信システム。
　（付記９）
　前記送信装置は、
　それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、付記７又は８に記載の通信システム。
　（付記１０）
　前記符号化パラメータは、
　前記映像のビットレートを含む、付記９に記載の通信システム。
　（付記１１）
　前記送信装置は、
　それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、付記７乃至１０のいずれか１項に記載の通信システム。
　（付記１２）
　前記優先情報は、
　それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、付記１１に記載の通信システム。
　（付記１３）
　複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定する推定部と、
　推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する通信制御部と、を備える送信装置。
　（付記１４）
　前記撮像装置及び前記送信装置は、移動体に搭載され、
　前記体感品質は、
　前記移動体の状態に基づいて決定される、付記１３に記載の送信装置。
　（付記１５）
　前記通信制御部は、
　それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、付記１３又は１４に記載の送信装置。
　（付記１６）
　前記符号化パラメータは、
　前記映像のビットレートを含む、付記１５に記載の送信装置。
　（付記１７）
　前記通信制御部は、
　それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、付記１３乃至１６のいずれか１項に記載の送信装置。
　（付記１８）
　前記優先情報は、
　それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、付記１７に記載の送信装置。
　１０　送信装置
　１１　推定部
　１２　通信制御部
　２０　撮像装置
　３０　監視装置
　３１　再生部
　３２　通信部
　４０　ネットワーク
　５０　送信装置
　５１　通信部
　５２　通信品質取得部
　５３　再生環境取得部
　５４　符号化制御部
　５５　優先度決定部
　５６　体感品質算出部
　５７　符号化部
　５８　符号化部
　５９　符号化部
　６０　符号化部
　６１　カメラ
　６２　カメラ
　６３　カメラ
　６４　カメラ

Claims (18)

  1. 　複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、
    　推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、送信装置における通信制御方法。
  2. 　前記撮像装置及び前記送信装置は、移動体に搭載され、
    　前記体感品質は、
    　前記移動体の状態に基づいて決定される、請求項１に記載の通信制御方法。
  3. 　前記通信を制御する際に、
    　それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、請求項１又は２に記載の通信制御方法。
  4. 　前記符号化パラメータは、
    　前記映像のビットレートを含む、請求項３に記載の通信制御方法。
  5. 　前記通信を制御する際に、
    　それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、請求項１乃至４のいずれか１項に記載の通信制御方法。
  6. 　前記優先情報は、
    　それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、請求項５に記載の通信制御方法。
  7. 　複数の撮像装置において撮像された映像の映像データをネットワークを介して送信する送信装置と、
    　前記映像をネットワークを介して受信した前記映像を表示する監視装置と、を備え、
    　前記送信装置は、
    　前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定し、
    　推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する、通信システム。
  8. 　前記撮像装置及び前記送信装置は、移動体に搭載され、
    　前記体感品質は、
    　前記移動体の状態に基づいて決定される、請求項７に記載の通信システム。
  9. 　前記送信装置は、
    　それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、請求項７又は８に記載の通信システム。
  10. 　前記符号化パラメータは、
    　前記映像のビットレートを含む、請求項９に記載の通信システム。
  11. 　前記送信装置は、
    　それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、請求項７乃至１０のいずれか１項に記載の通信システム。
  12. 　前記優先情報は、
    　それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、請求項１１に記載の通信システム。
  13. 　複数の撮像装置において撮像された映像の映像データをネットワークを介して受信した監視装置に表示される前記映像を監視する監視者が、前記映像を視認した際に感じる体感品質を推定する推定部と、
    　推定された前記体感品質に基づいて、それぞれの前記撮像装置において撮像された映像をネットワークを介して前記監視装置へ送信するための通信を制御する通信制御部と、を備える送信装置。
  14. 　前記撮像装置及び前記送信装置は、移動体に搭載され、
    　前記体感品質は、
    　前記移動体の状態に基づいて決定される、請求項１３に記載の送信装置。
  15. 　前記通信制御部は、
    　それぞれの前記撮像装置において撮像された前記映像の符号化パラメータを制御する、請求項１３又は１４に記載の送信装置。
  16. 　前記符号化パラメータは、
    　前記映像のビットレートを含む、請求項１５に記載の送信装置。
  17. 　前記通信制御部は、
    　それぞれの前記撮像装置の優先情報と、前記体感品質に基づいて、前記通信を制御する、請求項１３乃至１６のいずれか１項に記載の送信装置。
  18. 　前記優先情報は、
    　それぞれの前記撮像装置に割り当てられる値である優先度、もしくは、前記撮像装置の優先順位、を示す、請求項１７に記載の送信装置。
PCT/JP2020/029091 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置 WO2022024268A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022539877A JP7448012B2 (ja) 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置
PCT/JP2020/029091 WO2022024268A1 (ja) 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置
US18/017,453 US20230283818A1 (en) 2020-07-29 2020-07-29 Communication control method, communication system, and transmission apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029091 WO2022024268A1 (ja) 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置

Publications (1)

Publication Number Publication Date
WO2022024268A1 true WO2022024268A1 (ja) 2022-02-03

Family

ID=80037762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029091 WO2022024268A1 (ja) 2020-07-29 2020-07-29 通信制御方法、通信システム、及び送信装置

Country Status (3)

Country Link
US (1) US20230283818A1 (ja)
JP (1) JP7448012B2 (ja)
WO (1) WO2022024268A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051517A (ja) * 2003-07-29 2005-02-24 Hitachi Kokusai Electric Inc 映像配信システム本発明は、映像配信システムに関し、複数の撮像装置からの映像信号に対してクライアントから要求があった映像信号をエンコーダを用いて符号化し、通信ネットワークを介して接続されるクライアントに対して配信を行う映像配信システムに関する。
WO2013099488A1 (ja) * 2011-12-28 2013-07-04 日産自動車株式会社 監視システム
JP2014071778A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
JP2016134816A (ja) * 2015-01-21 2016-07-25 株式会社日立製作所 画像調整方法、サーバ及び動画撮影システム
US20180334099A1 (en) * 2017-05-16 2018-11-22 GM Global Technology Operations LLC Vehicle environment imaging systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051517A (ja) * 2003-07-29 2005-02-24 Hitachi Kokusai Electric Inc 映像配信システム本発明は、映像配信システムに関し、複数の撮像装置からの映像信号に対してクライアントから要求があった映像信号をエンコーダを用いて符号化し、通信ネットワークを介して接続されるクライアントに対して配信を行う映像配信システムに関する。
WO2013099488A1 (ja) * 2011-12-28 2013-07-04 日産自動車株式会社 監視システム
JP2014071778A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
JP2016134816A (ja) * 2015-01-21 2016-07-25 株式会社日立製作所 画像調整方法、サーバ及び動画撮影システム
US20180334099A1 (en) * 2017-05-16 2018-11-22 GM Global Technology Operations LLC Vehicle environment imaging systems and methods

Also Published As

Publication number Publication date
JP7448012B2 (ja) 2024-03-12
US20230283818A1 (en) 2023-09-07
JPWO2022024268A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
US8605185B2 (en) Capture of video with motion-speed determination and variable capture rate
KR101926490B1 (ko) 이미지 처리 장치 및 방법
KR100426174B1 (ko) 영상압축 알고리즘을 이용한 카메라 제어방법
JP7095788B2 (ja) 通信方法、及び通信装置
JP7505500B2 (ja) 送信方法、送信システム及びシステム制御装置
JP2024504027A (ja) ポーズ推定方法及び関連する装置
EP2727344B1 (en) Frame encoding selection based on frame similarities and visual quality and interests
JP7305749B2 (ja) 画像取得装置の制御方法及び装置
CN105493493A (zh) 摄像装置、摄像方法及图像处理装置
US20140270719A1 (en) Image encoding device, photographing system, photographing recording system, image encoding method, and non-transitory computer readable medium storing image encoding control program
JP2018509030A (ja) 撮像デバイスの視野における物体の奥行きによってトリガされるイベント
CN105721829A (zh) 监控相机、用于监控的记录设备和监控系统
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6660869B2 (ja) 遠隔作業支援システムおよびその作業者端末
JP2017163228A (ja) 監視カメラ
JP2012521702A (ja) フィルムジャダの補正方法および補正システム
WO2022024268A1 (ja) 通信制御方法、通信システム、及び送信装置
JP2019092154A (ja) 監視カメラシステム
JP7123215B2 (ja) 統計ベースの電子画像安定化
US20200204724A1 (en) Analysis system, analysis method, and program storage medium
WO2022074701A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
WO2021210269A1 (ja) 映像分析装置、映像分析システム及び映像分析方法
Sakaushi et al. Edge-centric video surveillance system based on event-driven rate adaptation for 24-hour monitoring
JP7074138B2 (ja) 分析システム、分析方法およびコンピュータプログラム
JP2022157267A (ja) 映像送信装置、映像送信方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20947284

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022539877

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20947284

Country of ref document: EP

Kind code of ref document: A1