WO2023199696A1 - 映像圧縮方法、映像圧縮装置、及びコンピュータプログラム - Google Patents

映像圧縮方法、映像圧縮装置、及びコンピュータプログラム Download PDF

Info

Publication number
WO2023199696A1
WO2023199696A1 PCT/JP2023/010673 JP2023010673W WO2023199696A1 WO 2023199696 A1 WO2023199696 A1 WO 2023199696A1 JP 2023010673 W JP2023010673 W JP 2023010673W WO 2023199696 A1 WO2023199696 A1 WO 2023199696A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
image quality
target
target area
video compression
Prior art date
Application number
PCT/JP2023/010673
Other languages
English (en)
French (fr)
Inventor
重治 豊田
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Publication of WO2023199696A1 publication Critical patent/WO2023199696A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Definitions

  • the present disclosure relates to a video compression method, a video compression device, and a computer program.
  • This application claims priority based on Japanese Application No. 2022-065258 filed on April 11, 2022, and incorporates all the contents described in the said Japanese application.
  • the available bandwidth (the communication bandwidth of the transmission path that can be used for communication) fluctuates. Therefore, if a video with an amount of data exceeding the available bandwidth is sent to the transmission path, the video cannot be transmitted correctly. As a result, when the video received on the server side is played back, block noise occurs and the video becomes distorted. In particular, in wireless communications, available bandwidth tends to be insufficient during video transmission.
  • Non-Patent Document 1 a technology called smart codec has been developed that compresses a region of interest in a video using a compression method that allows for high image quality and expansion compared to other regions.
  • a video compression method is a video compression method using a video compression device, which includes the steps of extracting a target region including any of a plurality of target objects from each image forming the video; determining the image quality of the target area based on the priority of the target object included in the target area and the available bandwidth of the transmission path; The method includes the steps of compressing a video, and transmitting the compressed video to the outside of the video compression device via the transmission path.
  • the present disclosure can also be realized as a computer program for causing a computer to execute characteristic steps included in the video compression method. It goes without saying that such computer programs can be distributed on computer-readable non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory) or via communication networks such as the Internet. stomach.
  • CD-ROMs Compact Disc-Read Only Memory
  • communication networks such as the Internet. stomach.
  • FIG. 1 is a block diagram showing the configuration of a video processing system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of a video compression device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing an example of an image included in a video output by a camera.
  • FIG. 4 is a diagram in which the image shown in FIG. 3 is divided into a plurality of blocks.
  • FIG. 5 is a diagram illustrating an example of a target area including a target object.
  • FIG. 6 is a diagram showing another example of a target area including a target object.
  • FIG. 7 is a diagram illustrating an example of a target area extraction result by the target area extraction unit.
  • FIG. 1 is a block diagram showing the configuration of a video processing system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of a video compression device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing an example of an image included
  • FIG. 8 is a block diagram showing the configuration of a server according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating an example of a procedure of processing executed by the video compression device.
  • FIG. 10 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9).
  • FIG. 11 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 2.
  • FIG. 12 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 3.
  • FIG. 13 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 4.
  • FIG. 14 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 5.
  • FIG. 15 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 6.
  • the present disclosure has been made in view of these circumstances, and even when the available bandwidth of the transmission path used for communication fluctuates, it realizes the transmission of high-quality video including the attention area.
  • the object of the present invention is to provide a video compression method, a video compression device, and a computer program that can perform the following steps.
  • a video compression method is a video compression method using a video compression device, and includes a step of extracting a target region including any one of a plurality of target objects from each image forming the video. and determining the image quality of the target area based on the priority of the target object included in the extracted target area and the available bandwidth of the transmission path, and determining the image quality of the determined target area. and transmitting the compressed video to the outside of the video compression device via the transmission path.
  • the image quality of the target area can be determined so that the target area containing the target object with higher priority is compressed with higher image quality, and the compressed video is not sent to the transmission path in excess of the available bandwidth. . Therefore, even if the available bandwidth of the transmission path used for communication fluctuates, it is possible to transmit high-quality video including the region of interest.
  • the compressed video is used for at least one of remote monitoring and remote control of a moving object, and the priority is determined based on the degree of influence of the moving object on the target object. May be determined.
  • a target object that is more affected by a collision with a moving body is set to have a higher priority. Therefore, the more likely the target object is to be affected by a collision, the more possible the remote monitoring or remote control of the moving body will be to avoid the collision. For example, when a moving object approaches a pedestrian who is most likely to be affected by a collision, remote control such as stopping the moving object can be performed.
  • the compressed video is used for at least one of remote monitoring and remote control of a moving object, and the priority is determined by the information collected from the target object. It may be determined based on usefulness.
  • the image quality of the target area including the traffic signal which is highly useful for remote monitoring or remote control of a moving object, is lowered by that of the roadside area, which is relatively less useful for remote monitoring or controlling of a moving object.
  • the image quality can be set higher than the image quality of the target area including the signboard.
  • the object including a background region which is an area other than the target region and the target object having a priority lower than a predetermined priority
  • the video may be compressed by excluding the area.
  • the amount of compressed video data can be kept low by excluding the background region and the target region including target objects of low importance.
  • a target area including a highly important target object can be transmitted with high image quality within a range that does not exceed the available bandwidth.
  • information of low importance is excluded in advance, so processing can be performed at high speed. Therefore, such compressed video is suitable for real-time processing.
  • a predetermined lower limit of image quality at which the presence of the target object can be recognized is set to a lower limit of image quality than a predetermined priority level.
  • the image quality may be determined as the image quality of the target area including the target object.
  • a target area including a target object of low importance is compressed to a lower limit image quality that allows the presence of the target object to be recognized. Therefore, it is possible to compress the video while keeping the amount of data in the target area including target objects of low importance as low as possible.
  • recognition processing is normally performed only on target areas that include target objects of high importance, but if it becomes necessary to re-verify the video, It can be used for verification purposes, such as performing recognition processing on all target regions including target objects with low values. Therefore, such compressed video is suitable for storage in a storage device.
  • the compressed video in the step of compressing the video, may be generated to which information on the image quality of the determined target area is added.
  • the device that has received the compressed video adds the image quality information added to the video to the decompressed video, so that when a person views the decompressed video, each target area is Image quality can be understood quantitatively rather than intuitively.
  • the compressed video in the step of compressing the video, may be generated to which information about the target object included in the target area is added.
  • the device that receives the compressed video can efficiently perform processing on the target object (for example, target object recognition processing) based on the target object information added to the video. .
  • the image quality of the target area is determined if the available bandwidth changes by a predetermined value or more;
  • the image quality of the target area determined when the bandwidth changes by more than the predetermined value may be used as the image quality of the target area when the available bandwidth does not change by more than the predetermined value.
  • a video compression device is a video compression device that compresses a video, and extracts a target region including any of a plurality of target objects from each image constituting the video.
  • an image quality determination unit that determines the image quality of the target area based on the priority of the target object included in the extracted target area and the available bandwidth of a transmission path; and a video transmitter that transmits the compressed video to the outside of the video compression device via the transmission path.
  • This configuration includes a processing unit that corresponds to the characteristic steps in the video compression method described above. Therefore, the video compression device can achieve the same functions and effects as the video compression method described above.
  • a computer program is a computer program for causing a computer to function as a video compression device, wherein the computer program selects one of a plurality of target objects from each image constituting a video.
  • a target area extraction unit that extracts a target area including a target area; and an image quality that determines the image quality of the target area based on the priority of the target object included in the extracted target area and the available bandwidth of a transmission path.
  • the computer can function as the above-mentioned video compression device. Therefore, the computer program can achieve the same functions and effects as the above-described video compression device.
  • FIG. 1 is a block diagram showing the configuration of a video processing system according to an embodiment of the present disclosure.
  • the video processing system 1 includes a server 2 and a video compression device 3 that are interconnected via a network 4 such as the Internet, and a camera 5 that is connected to the video compression device 3. Although only one video compression device 3 is shown in FIG. 1, a plurality of video compression devices 3 may be connected to the server 2.
  • the server 2 and the video compression device 3 are connected to the network 4 wirelessly or by wire.
  • the video compression device 3 compresses each time-series image included in the video captured by the camera 5, and sends the compressed image sequence (video) to the server 2.
  • the server 2 receives compressed video from the video compression device 3 via the network 4, and decompresses the received video.
  • the server 2 processes the decompressed video. For example, the server 2 detects the position of the target object included in the video, the circumscribed area of the target object, etc. by video processing.
  • FIG. 2 is a block diagram showing the configuration of a video compression device according to an embodiment of the present disclosure.
  • the video compression device 3 is connected to the camera 5 and includes a target area extraction section 32, a bandwidth estimation section 33, an image quality determination section 34, a video compression section 35, a storage device 36, and a video transmission section 37. .
  • the video compression device 3 may be configured by a computer system including a processor such as a CPU, and a storage device 36 such as volatile memory or nonvolatile memory. By executing the computer program stored in the storage device 36 on the processor, each of the processing units 32 to 35 and 37 performs its functions.
  • a processor such as a CPU
  • a storage device 36 such as volatile memory or nonvolatile memory.
  • the camera 5 photographs the subject and outputs an image of the subject.
  • a video consists of multiple time-series images.
  • the camera 5 may be provided inside the video compression device 3 and may be included in the components of the video compression device 3.
  • FIG. 3 is a diagram showing an example of an image included in the video output by the camera 5.
  • the image shown in FIG. 3 shows a dog 11, a bicycle 12, a car 13, and a tree 14.
  • a video consists of multiple frames of time-series images.
  • the target area extraction unit 32 extracts a target area containing any one of a plurality of target objects from each image making up the video.
  • the target area extraction unit 32 divides the image into a plurality of blocks, and determines whether each block includes a predetermined target object or not.
  • the video compression unit 35 extracts a target area to be compressed with higher image quality than a background area, which is an area other than the target area in the image. Compressing an image with high image quality means that when an image is decompressed and restored, compression processing is performed so that the restored image has high image quality.
  • FIG. 4 is a diagram in which the image shown in FIG. 3 is divided into a plurality of blocks.
  • an example is shown in which one image is divided into 49 blocks of 7 rows x 7 columns.
  • block numbers 1 to 49 are assigned to each block in raster scanning order from the upper left to the lower right of the image.
  • the size and number of blocks are not limited to those shown in FIG. 4.
  • the types of target objects to be determined by the target area extraction unit 32 are, for example, four types, and the target objects of types A, B, C, and D are a person, a car, a bicycle, and a dog, respectively.
  • the target objects of types A to D are also referred to as target objects A to D, respectively.
  • Priorities are set for the types of target objects, and types A, B, C, and D have higher priorities in this order. Note that the types of target objects are not limited to four types.
  • the target area extraction unit 32 uses a learning model to determine whether or not each of the target objects A to D is included in each of the blocks with block numbers 1 to 49.
  • the learning model include CNN (Convolution Neural Network), RNN (Recurrent Neural Network), AutoEncoder, and the like. Deep learning is performed using images of blocks containing various target objects A (hereinafter referred to as "block images"), block images containing target object B, block images containing target object C, and block images containing target object D as training data.
  • block images images containing various target objects A
  • block images containing target object B block images containing target object B
  • block images containing target object C block images containing target object D as training data.
  • machine learning methods such as the above, learning of target object A, learning of target object B, learning of target object C, and learning of target object D progresses, and the parameters of the learning model are determined.
  • the target area extraction unit 32 inputs an image composed of 49 block images to the learning model.
  • the learning model determines whether target objects A, B, C, and D are included in each block, and outputs the determination results.
  • the target area extraction unit 32 obtains a determination result from the learning model.
  • the target area extraction unit 32 determines the area composed of blocks including the target object A as the target area for compression processing with higher image quality than the background area.
  • the target area extraction unit 32 similarly determines the blocks including each of the target objects B to D as target areas.
  • FIG. 5 is a diagram showing an example of a target area including a target object.
  • FIG. 5 shows target regions 41B to 41D including target objects B to D, respectively.
  • the target areas 41B and 41D include blocks within the solid thick frame, and the target area 41C includes blocks within the dashed thick frame.
  • the target area 41B is an area that includes the target object B (car), and includes blocks numbered 12 to 14.
  • the target area 41C is an area including the target object C (bicycle), and includes blocks numbered 9, 11, 15-19, 22-26, 32, and 33.
  • the target area 41D is an area that includes the target object D (dog), and includes blocks numbered 16, 17, 22-24, 29-31, and 36-38.
  • FIG. 6 is a diagram showing another example of a target area including a target object.
  • FIG. 6 shows target regions 41B to 41D including target objects B to D, respectively.
  • the target areas 41B and 41D include blocks within the solid thick frame, and the target area 41C includes blocks within the dashed thick frame.
  • the target area 41B is an area that includes the target object B (car), and includes blocks numbered 12 to 14.
  • the target area 41C is an area that includes the target object C (bicycle), and includes blocks numbered 8 to 12, 15 to 19, 22 to 26, and 29 to 33.
  • the target area 41D is an area that includes the target object D (dog), and includes blocks numbered 15-17, 22-24, 29-31, and 36-38.
  • FIG. 7 is a diagram illustrating an example of a target area extraction result by the target area extraction unit 32.
  • block number 1 does not include any of the target objects A to D.
  • block No. 13 includes the target object B and does not include the target objects A, C, and D.
  • the 23rd block includes target objects C and D, but does not include target objects A and B.
  • block number 37 includes the target object D and does not include the target objects A to C.
  • block number 49 does not include any of the target objects A to D.
  • the bandwidth estimation unit 33 estimates the available bandwidth (the upper limit of the bandwidth available for communication) in the communication path (transmission path) between the video compression device 3 and the server 2. do. For example, the bandwidth estimation unit 33 transmits a test stream to the server 2, receives the returned test stream, measures quality information such as round trip time and packet loss rate, and sets the quality information to a preset value.
  • the available bandwidth may be estimated by inputting it into an analytical model.
  • the method for estimating the available bandwidth is not limited to the above method. Bandwidth is expressed, for example, as a transmission speed in units of Mbps (Megabits per second).
  • the image quality determination unit 34 determines, for each target area extracted by the target area extraction unit 32, the priority of the target object included in the target area and the relationship between the video compression device 3 and the server 2 estimated by the bandwidth estimation unit 33.
  • the image quality of the target area is determined based on the available bandwidth of the transmission path between the two.
  • the determined image quality is the image quality when compression processing is performed by the video compression section 35.
  • the image quality determination unit 34 determines the image quality that satisfies the following two conditions.
  • a target area including a relatively high priority target object is compressed with higher image quality or the same image quality than a target area including a relatively low priority target object.
  • the video compressed by the video compression unit 35 can be transmitted to the server 2 with a bandwidth equal to or less than the available bandwidth.
  • the image quality determination process by the image quality determination unit 34 will be described in detail later.
  • the video compression unit 35 changes the image quality for each target area based on the image quality determined by the image quality determination unit 34, and compresses the video (each image) output from the camera 5.
  • the compression method is, for example, H. 264/MPEG-4 AVC or H.264/MPEG-4 AVC. 265/MPEG-H HEVC, etc.
  • Image quality is expressed, for example, by a quantization parameter QP.
  • the video compression unit 35 adds information for identifying the image quality of the target area of each image forming the compressed video to the compressed video. That is, the video compression unit 35 adds information for identifying the image quality of each block of each image forming the compressed video to the compressed video. For example, the video compression unit 35 adds information that associates the block number and the quantization parameter QP to the compressed video.
  • the video compression unit 35 adds information for identifying the target object included in the target area of each image forming the compressed video to the compressed video. That is, the video compression unit 35 adds information for identifying the target object included in each block of each image constituting the compressed video to the compressed video. For example, the video compression unit 35 may add to the compressed video, for each block, information that associates the block number with the name information of the target object included in the block. Further, the video compression unit 35 may add to the compressed video, for each block, information in which the block number is associated with a number corresponding to the type of target object included in the block. The video compression unit 35 causes the storage device 36 to store the compressed video to which information has been added.
  • the video transmitter 37 acquires the compressed video with information added from the video compressor 35 and transmits the acquired compressed video to the server 2 via the network 4.
  • FIG. 8 is a block diagram showing the configuration of a server according to an embodiment of the present disclosure.
  • the server 2 includes a video receiving section 21, a video decompression section 22, and a video processing section 23.
  • the server 2 may be configured by a computer system including a processor such as a CPU, and a storage device such as volatile memory or nonvolatile memory. Each of the processing units 21 to 23 performs its functions by executing a computer program stored in a storage device on a processor.
  • the video receiving unit 21 receives compressed video from the video compression device 3 via the network 4.
  • the video decompression unit 22 restores the original video by decompressing the compressed video received by the video reception unit 21.
  • the video processing unit 23 performs predetermined video processing on the decompressed video. For example, the video processing unit 23 detects a circumscribed rectangular area of an object included in each image forming the video. Further, the video processing unit 23 may perform region division processing to extract the region of the object included in the image pixel by pixel. Furthermore, the video processing unit 23 may perform a skeleton estimation process for estimating the skeleton of an object included in the image. The server 2 may transmit the results of video processing by the video processing unit 23 to the video compression device 3.
  • FIG. 9 is a flowchart illustrating an example of a procedure of processing executed by the video compression device.
  • the target area extraction unit 32 determines whether target objects A to D are included in each block in the image output from the camera 5, and extracts a target area that includes each of the target objects A to D (step S1). For example, assume that the target area extraction unit 32 determines that the target object C is included in the block to be determined. In this case, the target area extraction unit 32 extracts the block to be determined as a target area including the target object C. Further, it is assumed that the target area extraction unit 32 determines that the target object A and the target object B are included in the block to be determined.
  • the target area extraction unit 32 extracts the block to be determined as a target area including the target object A with a high priority. Further, it is assumed that the target area extraction unit 32 determines that the target object is not included in the block to be determined. In this case, the target area extraction unit 32 extracts the block to be determined as a background area. By performing such target area extraction processing, each block is classified into a target area or a background area that includes any of the target objects A to D.
  • the bandwidth estimating unit 33, the image quality determining unit 34, and the video compressing unit 35 determine the image quality of the target area and background area including the target objects A to D (step S2).
  • FIG. 10 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9).
  • the bandwidth estimation unit 33 estimates the available bandwidth in the communication path between the video compression device 3 and the server 2 (step S11).
  • the image quality determining unit 34 determines the level of the available bandwidth estimated by the bandwidth estimating unit 33 (step S12). It is assumed that the level of available bandwidth is determined in advance. For example, the image quality determination unit 34 determines the image quality to be high level when the available bandwidth is equal to or more than a, determines it to be medium level when the available bandwidth is less than a and equal to or more than b, and determines it to be medium level when the available bandwidth is less than b. In this case, it is determined that the level is low.
  • a and b are predetermined values, and a>b.
  • the image quality determination unit 34 uses the image quality level as the quantization parameter QP when compressing the target region including any of the target objects A to D.
  • a quantization parameter QP of 1 is set, and a quantization parameter QP of image quality level 4 is set for the background region (step S13).
  • the image quality levels include image quality level 1, image quality level 2, image quality level 3, and image quality level 4 in descending order of image quality.
  • Each image quality level is associated with a quantization parameter QP, and the quantization parameter QP is smaller in the order of image quality level 1, image quality level 2, image quality level 3, and image quality level 4.
  • the quantization parameters QP of image quality level 1, image quality level 2, image quality level 3, and image quality level 4 are 30, 35, 40, and 50, respectively.
  • the image quality determining unit 34 sets the quantization parameter QP of image quality level 2 to the target region including any of the target objects A to D, A quantization parameter QP of image quality level 4 is set in the background area (step S14).
  • the image quality determination unit 34 sets a quantization parameter QP of image quality level 3 to the target area including any of the target objects A to D, A quantization parameter QP of image quality level 4 is set in the background area (step S15).
  • the video compression unit 35 estimates the amount of data when compressing the image output from the camera 5 based on the quantization parameter QP set in any of steps S13 to S15 (step S16). As an example, for each quantization parameter QP, the video compression unit 35 refers to a data table showing the average amount of data after quantizing and compressing one block image with the quantization parameter QP, and By estimating the data amount of the image after compression, the data amount of one frame of the image after compression is estimated.
  • the number of blocks in the target area including target object A, the target area including target object B, the target area including target object C, the target area including target object D, and the background area are NA, NB, NC, ND and NE, and all blocks include 0 or 1 target object.
  • the quantization parameter QP when compressing the target region including the target object A, the target region including the target object B, the target region including the target object C, the target region including the target object D, and the background region are respectively, Suppose that they are QPA, QPB, QPC, QPD, and QPE.
  • the average data amount of one block image after compressing one block image with quantization parameters QPA, QPB, QPC, QPD, and QPE is DA, DB, DC, DD, and DE.
  • the video compression unit 35 estimates that the data amount of one frame of image after compression is (NA ⁇ DA+NB ⁇ DB+NC ⁇ DC+ND ⁇ DD+NE ⁇ DE).
  • the video compression unit 35 estimates the amount of compressed video data per second by multiplying the compressed data amount of one frame image by the number of frames included in one second (for example, 30). .
  • the image quality determination unit 34 compares the available bandwidth estimated in step S11 with the data amount of the compressed video estimated in step S16, thereby determining whether there is a shortage of bandwidth when transmitting the compressed video to the server 2. It is determined whether or not this occurs (step S17). For example, the image quality determining unit 34 may determine that a bandwidth shortage occurs when the amount of compressed video data per second exceeds the available bandwidth. The image quality determination unit 34 may also determine that a bandwidth shortage occurs when the amount of data obtained by adding a predetermined margin (positive value) to the amount of compressed video data per second exceeds the available bandwidth. . By doing so, it is possible to determine whether or not a band shortage has occurred, taking into consideration the case where the available bandwidth fluctuates.
  • the image quality determining unit 34 changes the set quantization parameter QP to a quantization parameter set for the target area including the target object with a low priority.
  • the quantization parameter QP is sequentially increased (the image quality is lowered) and the quantization parameter QP is reset (step S18). Thereafter, the processes from step S16 onwards are repeatedly executed.
  • the amount by which the quantization parameter QP is changed may be a predetermined value (for example, 2). For example, assume that 30 is set as the quantization parameter QP corresponding to the image quality level 1 for the target objects A to D in step S13.
  • the image quality determining unit 34 increases the quantization parameter QP of the target area including the target object D having the lowest priority by 2, changing it to 32.
  • the image quality determination unit 34 increases the quantization parameter QP in the order of target objects C, B, and A until the bandwidth shortage is resolved. increase. For example, the image quality determining unit 34 sequentially changes the quantization parameter QP of the target area including each of the target objects C, B, and A to 32.
  • the image quality determining unit 34 similarly increases the quantization parameter QP further in the order of target objects D, C, B, and A until the band shortage is resolved. For example, the image quality determining unit 34 sequentially changes the target area including the target objects D, C, B, and A to 34.
  • the image quality determination unit 34 applies the set quantization parameter QP to the target area that includes the high priority target object.
  • the quantization parameter QP is sequentially lowered (the image quality is increased) starting from the quantization parameter QP, and the quantization parameter QP is reset (step S19).
  • the amount by which the quantization parameter QP is changed may be a predetermined value (for example, 1). For example, assume that 30 is set as the quantization parameter QP corresponding to the image quality level 1 for the target objects A to D in step S13.
  • the image quality determining unit 34 decreases the quantization parameter QP of the target area including the target object A with the highest priority by 1, changing it to 29.
  • the video compression unit 35 estimates the amount of data when compressing the video output from the camera 5 based on the quantization parameter QP set in step S19 (step S20).
  • the process in step S20 is similar to the process in step S16.
  • step S20 the image quality determining unit 34 transmits the compressed video to the server 2 by comparing the available bandwidth estimated in step S11 and the data amount of the compressed video estimated in step S20. It is determined whether or not a bandwidth shortage will occur at that time (step S21). The process in step S21 is similar to the process in step S17. If it is determined that a band shortage does not occur (NO in step S21), the process returns to step S19.
  • the image quality determination unit 34 changes the value of the quantization parameter QP of the target area including the target object that was last processed in step S19 to the value before the change.
  • the value is returned to the original value (step S22). For example, if the last process performed in step S19 was the process of changing the quantization parameter QP of the target region including the target object A from 30 to 29, the image quality determining unit 34 Return parameter QP from 29 to 30.
  • a quantization parameter QP corresponding to the image quality of the target region and background region including the target objects A to D is determined.
  • the video compression unit 35 compresses the video output from the camera 5 based on the set quantization parameter QP (step S3).
  • the video compression unit 35 adds information for identifying the image quality of the target area to the compressed video (step S4).
  • the video compression unit 35 adds information for identifying the target object included in the target area to the compressed video (step S5).
  • the video compression unit 35 writes the compressed video to which these pieces of information have been added into the storage device 36 (step S6).
  • the video transmitter 37 receives the compressed video from the video compressor 35 and transmits it to the server 2 (step S7). Note that the process in step S6 and the process in step S7 may be executed in parallel.
  • the video compression device 3 performs the processing shown in FIG. 9 on each image forming the video.
  • the video compression device 3 shown in FIG. 2 may be, for example, an in-vehicle device installed in a vehicle (mobile object) such as a car or a motorcycle.
  • the video compression device 3 compresses the video captured by the camera 5 in front of the vehicle and transmits the compressed video to the server 2 .
  • the server 2 decompresses the compressed video, detects the target object by video processing based on the decompressed video, and sends the detection result to the video compression device 3 .
  • the on-vehicle device mounted on the vehicle performs at least one of remote monitoring and remote control of the vehicle based on the detection result of the target object by the server 2. That is, the compressed video is used for at least one of remote monitoring and remote control of the mobile object.
  • the priority of the target object is determined based on the degree of influence of the moving object on others.
  • target object A is a pedestrian
  • target object B is a passenger car
  • target object C is a truck
  • target object D is a traffic light.
  • the video compression device 3 may be an in-vehicle device installed in a moving body such as a car.
  • the priority of the target object may be determined based on the degree of influence of a moving object upon a collision with the target object, or the usefulness of information collected from the target object. For example, the priority of a target object with a high degree of impact upon collision is set to be equal to or higher than the priority of a target object with high usefulness of information indicated by the target object. Furthermore, the higher the degree of influence of the target object upon collision, the higher the priority is given. Further, the priority level is set higher for a target object whose information is more useful.
  • the target object A is a pedestrian, a vehicle, or a traffic signal
  • the target object B is a road sign
  • the target object C is a barricade or a triangular cone
  • the target object D is a store signboard or a road surface.
  • the type of target object may be determined according to the size of the object on the image.
  • target object A may be a small-sized object
  • target object B may be a medium-sized object
  • target object C may be a large-sized object. It is assumed that each size is determined in advance. Thereby, the video compression device 3 can perform video compression processing such that the smaller the object, the better the image quality during decompression.
  • the target object A may be a large-sized object
  • the target object B may be a medium-sized object
  • the target object C may be a small-sized object.
  • the image quality of the target area can be determined so that the target area containing the target object with higher priority is decompressed with higher image quality, and the compressed video is not sent to the transmission path in excess of the available bandwidth. . Therefore, even if the available bandwidth of the transmission path used for communication fluctuates, it is possible to transmit high-quality video including the region of interest.
  • the target area is extracted by determining whether each block that makes up the image contains the target object. Therefore, the target area can be extracted faster than when the target area is extracted from an image that is not divided into blocks.
  • the available bandwidth indicates the upper limit of the available bandwidth. Therefore, it is necessary to determine the image quality of the target area so that the target area containing the target object with higher priority is decompressed with higher image quality, and the compressed video is not sent to the transmission path in excess of the available bandwidth. can. Therefore, the amount of compressed video data can be maximized.
  • the video compression device 3 when the video compression device 3 is installed on a moving body, the higher the priority is set for the target object that is more affected by the collision of the moving body. Therefore, the more likely the target object is to be affected by a collision, the more the collision can be avoided by remotely monitoring or remotely controlling the moving body. For example, when a moving object approaches a pedestrian who is most likely to be affected by a collision, remote control such as stopping the moving object can be performed.
  • the priority level can be set higher for target objects that require higher collision avoidance of moving objects. For example, it is more necessary to avoid collisions with pedestrians than with billboards. Therefore, the image quality of the target area including pedestrians can be set higher than the image quality of the target area including roadside signboards. As a result, even when the available bandwidth is small, it is possible to perform BR>U throw control such as stopping a moving object in order to avoid collision with a pedestrian. Further, it is possible to give a higher priority to a target object whose information obtained from the target object is more useful for remote monitoring or remote control of a moving body. For example, information obtained from traffic lights is more useful for remote monitoring or control of mobile objects than information obtained from billboards. Therefore, the image quality of the target area including the traffic light can be set higher than the image quality of the target area including the roadside signboard.
  • the server 2 that has received the compressed video adds the image quality information added to the video to the decompressed video, so that when a person views the decompressed video, the image quality of each target area can be determined. It can be understood quantitatively rather than intuitively.
  • the server 2 that has received the compressed video cannot efficiently process the target object (for example, target object recognition processing) in units of blocks based on the target object information added to the video. can.
  • ⁇ Modification 1> In the above-described embodiment, all block images constituting a video (image) are compressed. On the other hand, in modification example 1, the video is compressed by excluding the background region, which is a region other than the target region, and the target region, which is composed of a block image including a target object having a lower priority than a predetermined priority.
  • the image quality determining unit 34 of the video compression device 3 determines the image quality by compressing the video while excluding the target area including the target object D having the lowest priority and the background area from the compression targets.
  • the data amount of the compressed video can be kept low.
  • a target area including a highly important target object can be transmitted with high image quality within a range that does not exceed the available bandwidth.
  • information of low importance is excluded in advance, so processing can be performed at high speed. Therefore, such compressed video is suitable for real-time processing.
  • FIG. 11 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 2.
  • the process shown in FIG. 11 includes steps S31 to S33 instead of steps S13 to S15 shown in FIG.
  • the processing in steps S11 and S16 to S22 is similar to that shown in FIG.
  • the image quality determining unit 34 sets a quantization parameter QP of image quality level 1 to the target region including any of the target objects A to D, A quantization parameter QP of image quality level 4 is set in the background area (step S31).
  • the image quality determination unit 34 sets a quantization parameter QP of image quality level 1 to the target area including any of the target objects A to B, A quantization parameter QP of image quality level 2 is set in the target region including any of the target objects C to D, and a quantization parameter QP of image quality level 4 is set in the background region (step S32).
  • the image quality determination unit 34 sets the quantization parameter QP of image quality level 1 to the target area that includes the target object A, and sets the quantization parameter QP of the image quality level 1 to the target area that includes the target object B.
  • a quantization parameter QP of image quality level 2 is set in the target region
  • a quantization parameter QP of image quality level 3 is set in the target region including any of the target objects C to D
  • a quantization parameter QP of image quality level 4 is set in the background region.
  • QP is set (step S32).
  • a quantization parameter QP of image quality level 1 is set in the target region including the target object A in the initial state. Therefore, a target area including a target object with a high priority is compressed with higher image quality than in the above-described embodiment.
  • FIG. 12 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 3.
  • the process shown in FIG. 12 includes step S41 instead of step S18 shown in FIG.
  • the processes in steps S11 to S17 and S19 to S22 are similar to those shown in FIG.
  • the image quality determining unit 34 changes the set quantization parameter QP to a quantization parameter set for the target area including the target object with a low priority.
  • the quantization parameter QP is sequentially increased (the image quality is lowered), and the quantization parameter QP is reset (step S41).
  • the image quality determining unit 34 changes the quantization parameter QP of the target region including the target objects B to D, but does not change the quantization parameter QP of the target region including the target object A.
  • the amount by which the quantization parameter QP is changed is a predetermined value (for example, 2).
  • the image quality determining unit 34 increases the quantization parameter QP of the target region including the target object D, which has the lowest priority among the target objects B to D, by 2 and changes it to 32.
  • the image quality determining unit 34 increases the quantization parameter QP of the target objects C and B in this order until the bandwidth shortage is resolved. For example, the image quality determining unit 34 sequentially changes the quantization parameter QP of the target area including each of the target objects C and B to 32.
  • the image quality determining unit 34 similarly increases the quantization parameter QP further in the order of target objects D, C, and B until the band shortage is resolved. For example, the image quality determining unit 34 sequentially changes the target area including the target objects D, C, and B to 34.
  • compressed video is transmitted to the server 2 while maintaining a constant image quality regardless of changes in communication bandwidth. I can do it.
  • the image quality is determined for each frame of the image forming the video.
  • a common image quality may be determined for images of multiple time-series frames.
  • FIG. 13 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 4.
  • the flowchart shown in FIG. 13 is the flowchart shown in FIG. 10 with steps S51 and S52 added.
  • H. 264/MPEG-4 AVC or H.264/MPEG-4 AVC A common image quality is determined for a plurality of images included in a GOP (Group of Pictures), which is a compression unit in a compression method such as H.265/MPEG-H HEVC.
  • GOP Group of Pictures
  • the image quality determining unit 34 determines whether the image to be compressed is the first picture (I picture) of the GOP (step S51). If the image to be compressed is the first picture (YES in step S51), the processes of steps S11 to S22 are executed, and the image quality of each target area and background area included in the first picture is determined.
  • the processing in steps S11 to S22 is similar to that shown in FIG.
  • the image quality determining unit 34 sets the image quality of each area included in the first picture as the image quality of each area included in the image to be compressed (step S52). ). According to the fourth modification, the same image quality is maintained in the same area within the same GOP.
  • the image quality may be determined not for each GOP but for each predetermined period of time (for example, one minute). That is, the image quality may be determined for the image of the first frame of a predetermined time, and the image quality determined for the image of the first frame may be maintained for the images of the remaining frames.
  • the image quality is determined for each frame of the image forming the video.
  • the image quality may be determined only when there is a change in the available bandwidth.
  • FIG. 14 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 5.
  • the flowchart shown in FIG. 14 is the flowchart shown in FIG. 10 with steps S61 and S62 added.
  • the image quality determining unit 34 determines whether the available bandwidth estimated by the bandwidth estimating unit 33 has changed (step S61). For example, the image quality determining unit 34 determines that the available bandwidth has changed when the available bandwidth has changed by a predetermined value or more from the available bandwidth that was referenced when determining the image quality last, and in other cases, , it is determined that the available bandwidth has not changed. Note that when compressing the image of the first frame of the video, the image quality determining unit 34 determines that the available bandwidth has changed.
  • steps S11 to S22 are executed, and the image quality of each region included in the image to be compressed is determined.
  • the processing in steps S11 to S22 is similar to that shown in FIG.
  • the image quality determining unit 34 determines that the available bandwidth has changed at the end as the image quality of each area included in the compression target image.
  • the image quality of each area determined when the image quality is determined is set (step S62).
  • modification 5 if there is little change in the available bandwidth, there is no need to change the amount of compressed video data. Therefore, by not changing the image quality, it is possible to prevent the data amount of the compressed video from changing. This eliminates the need to unnecessarily perform image quality determination processing.
  • the lower limit image quality (hereinafter referred to as "limit image quality") at which the presence of a predetermined target object can be recognized is set as the image quality of a target area that includes a target object with a priority lower than a predetermined priority. do.
  • the value of the quantization parameter QP indicating the critical image quality is 50.
  • the maximum value of the quantization parameter QP is 51.
  • FIG. 15 is a flowchart showing details of the image quality determination process (step S2 in FIG. 9) according to modification 6.
  • the flow chart shown in FIG. 15 adds step S71 to the flow chart shown in FIG. 10, uses steps S72, S73, and S74 instead of steps S13, S14, and S15, and uses steps S75 and S76 instead of steps S18 and S19. This is what I used.
  • the processing in steps S11, S12, S16, S17, and S20 to S22 is the same as that shown in FIG.
  • the image quality determination unit 34 sets a limit image quality to the image quality of the target area that includes a target object (that is, target object D) that has a lower priority than the target object of type C (step S71).
  • the image quality determination unit 34 uses the image quality level as the quantization parameter QP when compressing the target region including any of the target objects A to C.
  • a quantization parameter QP of 1 is set (step S72).
  • the image quality determination unit 34 sets the quantization parameter QP of image quality level 2 to the target region including any of the target objects A to C ( Step S73).
  • the image quality determining unit 34 sets the quantization parameter QP of image quality level 3 to the target region including any of the target objects A to C ( Step S74).
  • the image quality determination unit 34 uses the quantization parameter QP set for the target area including target objects A to C to target objects with lower priority.
  • the quantization parameter QP set for the target region including the target area is increased in order (the image quality is lowered), and the quantization parameter QP is reset (step S75). This process is similar to the process in step S41 in FIG.
  • the image quality determination unit 34 uses the quantization parameter QP set for the target area including the target objects A to C as the target object with a high priority.
  • the quantization parameter QP is sequentially lowered (increasing the image quality) starting from the quantization parameter QP set for the target region including the target region, and the quantization parameter QP is reset (step S76).
  • the amount by which the quantization parameter QP is changed is a predetermined value (for example, 1).
  • the target area including the target object D of low importance is compressed so that the image quality is at the lower limit where the existence of the target object D can be recognized. Therefore, the video can be compressed while keeping the amount of data in the target area including the target object D of low importance as low as possible.
  • recognition processing is normally performed only on the target area that includes the highly important target objects A to C, but if it becomes necessary to re-verify the video, , it can be used for verification purposes, such as performing recognition processing on a target area that includes the target object D of low importance. Therefore, such compressed video is suitable for storage in a storage device.
  • a part or all of the components constituting each of the above devices may be composed of one or more semiconductors such as a system LSI.
  • the above-mentioned computer program may be recorded on a computer-readable nonvolatile recording medium, such as an HDD, CD-ROM, or semiconductor memory, and distributed. Furthermore, the computer program may be transmitted and distributed via telecommunications lines, wireless or wired communication lines, networks typified by the Internet, data broadcasting, and the like. Furthermore, each of the above devices may be realized by multiple computers or multiple processors.
  • a computer-readable nonvolatile recording medium such as an HDD, CD-ROM, or semiconductor memory
  • the computer program may be transmitted and distributed via telecommunications lines, wireless or wired communication lines, networks typified by the Internet, data broadcasting, and the like.
  • each of the above devices may be realized by multiple computers or multiple processors.
  • each of the above devices may be provided by cloud computing.
  • some or all of the functions of each device may be realized by a cloud server.
  • at least a portion of the above embodiment and the above modification may be combined arbitrarily.
  • Video processing system 2 Server 3
  • Video compression device 4 Network 5
  • Video reception section 22 Video decompression section 23
  • Video processing section 32 Target area extraction section 33
  • Bandwidth estimation section 34 Image quality determination section 35
  • Video Compression unit 36 Storage device 37

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像圧縮装置による映像圧縮方法であって、映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出するステップと、抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定するステップと、決定された前記対象領域の画質に基づいて、前記映像を圧縮するステップと、圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信するステップとを含む。

Description

映像圧縮方法、映像圧縮装置、及びコンピュータプログラム
　本開示は、映像圧縮方法、映像圧縮装置、及びコンピュータプログラムに関する。
　本出願は、２０２２年４月１１日出願の日本出願第２０２２－０６５２５８号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
　自動車等の移動体に搭載されたカメラで撮影された移動体の周囲の映像を移動体の外部のサーバに送信する場合などのように、無線又は有線により映像を伝送する機会が増えている。
　一般的に通信においては可用帯域幅（通信に利用可能な伝送路の通信帯域幅）が変動する。このため、可用帯域幅を超えるデータ量の映像が伝送路に送出された場合には、映像を正しく伝送することができない。これにより、サーバ側で受信した映像を再生した場合に、ブロックノイズが発生し、映像が乱れる現象が生じる。特に、無線通信においては映像伝送時に可用帯域幅が不足しがちになる。
　一方、映像中の注目領域を他と比べ高画質で伸張可能な圧縮方法で圧縮するスマートコーディックという技術が開発されている（例えば、非特許文献１参照）。
ＪＳＥＣＵＲＩＴＹ，"スマートエンコーデイング"，［ｏｎｌｉｎｅ］，２０１９年，［令和３年１０月５日検索］，インターネット＜ＵＲＬ：　ｈｔｔｐｓ：／／ｊｓｅｃｕｒｉｔｙ．ｊｐ／ｎｅｗ－ｐｒｏｄｕｃｔ／ｓｍａｒｔｅｎｃｏｄｉｎｇ／＞
　本開示の一態様に係る映像圧縮方法は、映像圧縮装置による映像圧縮方法であって、映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出するステップと、抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定するステップと、決定された前記対象領域の画質に基づいて、前記映像を圧縮するステップと、圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信するステップとを含む。
　なお、本開示は、映像圧縮方法に含まれる特徴的なステップをコンピュータに実行させるためのコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータ読取可能な不揮発性記録媒体により、又はインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
図１は、本開示の実施形態に係る映像処理システムの構成を示すブロック図である。 図２は、本開示の実施形態に係る映像圧縮装置の構成を示すブロック図である。 図３は、カメラが出力する映像に含まれる画像の一例を示す図である。 図４は、図３に示した画像を複数のブロックに分割した図である。 図５は、対象物体を含む対象領域の一例を示す図である。 図６は、対象物体を含む対象領域の他の一例を示す図である。 図７は、対象領域抽出部による対象領域の抽出結果の一例を示す図である。 図８は、本開示の実施形態に係るサーバの構成を示すブロック図である。 図９は、映像圧縮装置が実行する処理の手順の一例を示すフローチャートである。 図１０は、画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。 図１１は、変形例２に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。 図１２は、変形例３に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。 図１３は、変形例４に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。 図１４は、変形例５に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。 図１５は、変形例６に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。
［本開示が解決しようとする課題］

　従来のスマートコーディックにおいて注目領域以外の領域の画質を落としてデータ量を削減したとしても、可用帯域幅を超えるデータ量の圧縮済み映像が伝送路に送出される可能性がある。このため、圧縮済み映像をサーバ側で伸張して再生した場合に、映像が乱れる現象が生じ得る。
　本開示は、このような事情に鑑みてなされたものであり、通信に利用される伝送路の可用帯域幅が変動した場合であっても、高画質な注目領域を含む映像の伝送を実現することのできる映像圧縮方法、映像圧縮装置、及びコンピュータプログラムを提供することを目的とする。
［本開示の効果］
　本開示によると、通信に利用される伝送路の可用帯域幅が変動した場合であっても、高画質な注目領域を含む映像の伝送を実現することができる。
　［本開示の実施形態の概要］
　最初に本開示の実施形態の概要を列記して説明する。
　（１）本開示の一実施形態に係る映像圧縮方法は、映像圧縮装置による映像圧縮方法であって、映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出するステップと、抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定するステップと、決定された前記対象領域の画質に基づいて、前記映像を圧縮するステップと、圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信するステップとを含む。
　この構成によると、対象物体の優先度と伝送路の可用帯域幅とに基づいて対象領域の画質の調整を図ることができる。つまり、優先度の高い対象物体を含む対象領域ほど高画質で圧縮され、かつ、圧縮済みの映像が可用帯域幅を超えて伝送路に送出されないように、対象領域の画質を決定することができる。このため、通信に利用される伝送路の可用帯域幅が変動した場合であっても、高画質な注目領域を含む映像の伝送を実現することができる。
　（２）上記（１）において、圧縮済みの前記映像は、移動体の遠隔監視及び遠隔制御の少なくとも１つに用いられ、前記優先度は、前記移動体の前記対象物体に対する影響度合いに基づいて定められてもよい。
　例えば、移動体が衝突した際に受ける影響が大きい対象物体ほど優先度が高く設定される。このため、衝突時に影響を受ける可能性が高い対象物体ほど、より衝突が回避されるように移動体の遠隔監視又は遠隔制御をすることが可能となる。例えば、移動体が、衝突時に最も影響を受ける可能性の高い歩行者に接近した場合には、移動体を停止させる等の遠隔制御を行うことができる。
　（３）上記（１）又は（２）において、圧縮済みの前記映像は、移動体の遠隔監視及び遠隔制御の少なくとも１つに用いられ、前記優先度は、前記対象物体から収集される情報の有用性に基づいて定められてもよい。
　例えば、交通信号機から得られる情報の方が、看板から得られる情報よりも移動体の遠隔監視又は遠隔制御にとって有用である。このため、この構成によると、移動体の遠隔監視又は遠隔制御に対する有用性の高い交通信号機を含む対象領域の画質を、移動体の遠隔監視又は遠隔制御に対する有用性が相対的に低い道路脇の看板を含む対象領域の画質よりも大きく設定することができる。
　（４）上記（１）から（３）のいずれかにおいて、前記映像を圧縮するステップでは、前記対象領域以外の領域である背景領域と予め定められた優先度未満の前記対象物体を含む前記対象領域とを除外して前記映像を圧縮してもよい。
　この構成によると、背景領域と重要度の低い対象物体を含む対象領域とを除外することにより、圧縮済みの映像のデータ量を低く抑えることができる。これにより、可用帯域幅を超えない範囲において、重要度の高い対象物体を含む対象領域を高画質で送信することができる。また、圧縮済みの映像を受信して処理する場合において、重要度の低い情報が事前に除外されていることより、高速に処理が可能である。このため、このような圧縮済みの映像はリアルタイム処理に好適である。
　（５）上記（１）から（４）のいずれかにおいて、前記画質を決定するステップでは、前記対象物体の存在が認識可能な予め定められた下限の画質を、予め定められた優先度未満の前記対象物体を含む前記対象領域の画質として決定してもよい。
　この構成によると、重要度の低い対象物体を含む対象領域は、対象物体の存在が認識可能な下限の画質となるように圧縮される。このため、重要度の低い対象物体を含む対象領域のデータ量をできるだけ低く抑えた上で、映像を圧縮することができる。このような圧縮済みの映像は、例えば、通常は重要度の高い対象物体を含む対象領域に対してのみ認識処理を実行するが、映像の再検証の必要性が生じた場合には、重要度の低い対象物体を含む全ての対象領域に対して認識処理を実行するなどの検証用途に用いることができる。このため、このような圧縮済みの映像は、記憶装置への保存用途に好適である。
　（６）上記（１）から（５）のいずれかにおいて、前記映像を圧縮するステップでは、決定された前記対象領域の画質の情報を付加した圧縮済みの前記映像を生成してもよい。
　この構成によると、圧縮済みの映像を受信した装置が、当該映像に付加された画質の情報を伸張後の映像に付け加えることにより、伸張後の映像を人が見たときに、各対象領域の画質を感覚的にではなく定量的に理解することができる。
　（７）上記（１）から（６）のいずれかにおいて、前記映像を圧縮するステップでは、前記対象領域に含まれる前記対象物体の情報を付加した圧縮済みの前記映像を生成してもよい。
　この構成によると、圧縮済みの映像を受信した装置は、当該映像に付加された対象物体の情報に基づいて、対象物体に対する処理（例えば、対象物体の認識処理）を効率的に行うことができる。
　（８）上記（１）から（７）のいずれかにおいて、前記画質を決定するステップでは、前記可用帯域幅に所定値以上の変化があった場合に前記対象領域の画質を決定し、前記可用帯域幅に前記所定値以上の変化があった場合に決定された前記対象領域の画質を、前記可用帯域幅に前記所定値以上の変化がなかった場合の前記対象領域の画質としてもよい。
　可用帯域幅の変化が少ない場合には圧縮済み映像のデータ量を変化させる必要がない。このため、画質が変化させないことにより、圧縮済み映像のデータ量を変化させないようにすることができる。これにより、不必要に画質の決定処理を行う必要が無くなる。
　（９）本開示の他の実施形態に係る映像圧縮装置は、映像を圧縮する映像圧縮装置であって、前記映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出する対象領域抽出部と、抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定する画質決定部と、決定された前記対象領域の画質に基づいて、前記映像を圧縮する映像圧縮部と、圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信する映像送信部とを備える。
　この構成は、上述の映像圧縮方法における特徴的なステップに対応する処理部を備える。このため、映像圧縮装置は、上述の映像圧縮方法と同様の作用および効果を奏することができる。
　（１０）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを映像圧縮装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出する対象領域抽出部、抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定する画質決定部、決定された前記対象領域の画質に基づいて、前記映像を圧縮する映像圧縮部、及び、圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信する映像送信部として機能させる。
　この構成によると、コンピュータを、上述の映像圧縮装置として機能させることができる。このため、コンピュータプログラムは、上述の映像圧縮装置と同様の作用および効果を奏することができる。
　［本開示の実施形態の詳細］
　以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。
　〔映像処理システムの全体構成〕
　図１は、本開示の実施形態に係る映像処理システムの構成を示すブロック図である。
　映像処理システム１は、インターネット等のネットワーク４を介して相互に接続されたサーバ２及び映像圧縮装置３と、映像圧縮装置３に接続されたカメラ５とを備える。図１には、映像圧縮装置３を１台しか示していないが、サーバ２には複数の映像圧縮装置３が接続されていてもよい。サーバ２及び映像圧縮装置３は、無線又は有線によりネットワーク４に接続される。
　映像圧縮装置３は、カメラ５により撮影された映像に含まれる時系列の各画像を圧縮し、圧縮済みの画像列（映像）をサーバ２に送信する。
　サーバ２は、ネットワーク４を介して映像圧縮装置３から圧縮済み映像を受信し、受信した映像を伸張する。サーバ２は、伸張した映像を映像処理する。例えば、サーバ２は、映像中に含まれる対象物体の位置、対象物体の外接領域等を映像処理により検出する。
　〔映像圧縮装置の構成〕
　図２は、本開示の実施形態に係る映像圧縮装置の構成を示すブロック図である。
　映像圧縮装置３は、カメラ５に接続され、対象領域抽出部３２と、帯域幅推定部３３と、画質決定部３４と、映像圧縮部３５と、記憶装置３６と、映像送信部３７とを備える。
　映像圧縮装置３は、ＣＰＵ等のプロセッサ、及び、揮発性メモリ又は不揮発性メモリなどの記憶装置３６を備えるコンピュータシステムにより構成されてもよい。記憶装置３６に記憶されているコンピュータプログラムをプロセッサ上で実行することにより、各処理部３２～３５、３７は、その機能を発揮する。
　カメラ５は、被写体を撮影し、被写体の映像を出力する。映像は複数の時系列の画像から構成される。なお、カメラ５は、映像圧縮装置３の内部に備えられ、映像圧縮装置３の構成要素に含まれていてもよい。
　図３は、カメラ５が出力する映像に含まれる画像の一例を示す図である。図３に示す画像には、犬１１、自転車１２、自動車１３及び樹木１４が映っている。映像は複数フレームの時系列の画像より構成される。
　対象領域抽出部３２は、映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出する。
　例えば、対象物体を含むか否かを判定する画像の単位をブロックとすると、対象領域抽出部３２は、画像を複数のブロックに分割し、ブロックごとに、予め定められた対象物体を含むか否かを判定することにより、後述する映像圧縮部３５が、画像中の対象領域以外の領域である背景領域に比べて高画質で圧縮処理する対象領域を抽出する。画像を高画質で圧縮処理するとは、画像を伸張処理して復元した場合に、復元された画像が高画質であるように圧縮処理することである。
　以下、対象領域抽出部３２の処理を詳細に説明する。
　図４は、図３に示した画像を複数のブロックに分割した図である。ここでは、１枚の画像を７行×７列の４９個のブロックに分割した例を示している。図４に示すように、画像の左上から右下までラスター走査順に１から４９までのブロック番号が各ブロックに付されている。ただし、ブロックのサイズ及び個数は図４に示したものに限定されるものではない。
　対象領域抽出部３２が判定対象とする対象物体の種類は、例えば、４種類とし、種類Ａ、Ｂ、Ｃ、Ｄの対象物体は、それぞれ、人、自動車、自転車、犬とする。種類Ａ～Ｄの対象物体を、それぞれ対象物体Ａ～Ｄとも呼ぶ。対象物体の種類には優先度が設定されており、種類Ａ、Ｂ、Ｃ、Ｄの順に優先度が高いものとする。なお、対象物体の種類は４種類に限定されるものではない。
　対象領域抽出部３２は、ブロック番号１～４９の各ブロックについて、対象物体Ａ～Ｄの各々が含まれるか否かを、学習モデルを用いて判定する。学習モデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＡｕｔｏＥｎｃｏｄｅｒなどである。様々な対象物体Ａを含むブロックの画像（以下、「ブロック画像」という）、対象物体Ｂを含むブロック画像、対象物体Ｃを含むブロック画像、対象物体Ｄを含むブロック画像を教師データとして、ディープラーニングなどの機械学習手法により、対象物体Ａの学習と、対象物体Ｂの学習と、対象物体Ｃの学習と、対象物体Ｄの学習とが進んで、学習モデルのパラメータが決定される。
　具体的には、対象領域抽出部３２は、４９個のブロック画像から構成される画像を、学習モデルに入力する。学習モデルは、ブロックごとに対象物体Ａ、Ｂ、Ｃ、Ｄがそれぞれ含まれるか否かを判定し、判定結果を出力する。対象領域抽出部３２は、学習モデルから判定結果を得る。
　対象領域抽出部３２は、対象物体Ａを含むブロックから構成される領域を背景領域に比べ高画質での圧縮処理の対象領域と決定する。対象領域抽出部３２は、対象物体Ｂ～Ｄをそれぞれ含むブロックについても、同様に対象領域と決定する。
　図５は、対象物体を含む対象領域の一例を示す図である。図５には、対象物体Ｂ～Ｄのそれぞれを含む対象領域４１Ｂ～４１Ｄを示している。対象領域４１Ｂ、４１Ｄは実線の太枠内のブロックを含み、対象領域４１Ｃは破線の太枠内のブロックを含む。対象領域４１Ｂは、対象物体Ｂ（自動車）を含む領域であり、１２～１４番のブロックを含んでいる。対象領域４１Ｃは、対象物体Ｃ（自転車）を含む領域であり、９、１１、１５～１９、２２～２６、３２、３３番のブロックを含んでいる。対象領域４１Ｄは、対象物体Ｄ（犬）を含む領域であり、１６、１７、２２～２４、２９～３１、３６～３８番のブロックを含む領域である。
　なお、対象領域抽出部３２は、対象物体を含む対象領域は矩形領域であるとしてもよい。この場合、対象領域抽出部３２は、対象物体ごとに、対象物体が含まれるか否かの判定結果に基づいて、対象物体を含むブロックの外接矩形を対象領域とする。図６は、対象物体を含む対象領域の他の一例を示す図である。図６には、対象物体Ｂ～Ｄのそれぞれを含む対象領域４１Ｂ～４１Ｄを示している。対象領域４１Ｂ、４１Ｄは実線の太枠内のブロックを含み、対象領域４１Ｃは破線の太枠内のブロックを含む。対象領域４１Ｂは、対象物体Ｂ（自動車）を含む領域であり、１２～１４番のブロックを含んでいる。対象領域４１Ｃは、対象物体Ｃ（自転車）を含む領域であり、８～１２、１５～１９、２２～２６、２９～３３番のブロックを含んでいる。対象領域４１Ｄは、対象物体Ｄ（犬）を含む領域であり、１５～１７、２２～２４、２９～３１、３６～３８番のブロックを含む領域である。
　図７は、対象領域抽出部３２による対象領域の抽出結果の一例を示す図である。
　図７に示す表では、ブロック番号ごとに、ブロックに対象物体Ａ～Ｄが含まれるか否かを示す。つまり、対象物体が含まれるブロックを「１」で示し、対象物体が含まれないブロックを「０」で示す。例えば、１番のブロックには、対象物体Ａ～Ｄのいずれもが含まれていないことが示されている。１３番のブロックには、対象物体Ｂが含まれ、対象物体Ａ、Ｃ、Ｄが含まれないことが示されている。２３番のブロックには、対象物体Ｃ、Ｄが含まれ、対象物体Ａ、Ｂが含まれないことが示されている。３７番のブロックには、対象物体Ｄが含まれ、対象物体Ａ～Ｃが含まれないことが示されている。４９番のブロックには、対象物体Ａ～Ｄのいずれもが含まれていないことが示されている。
　再び図２を参照して、帯域幅推定部３３は、映像圧縮装置３とサーバ２との間の通信経路（伝送路）における可用帯域幅（通信に利用可能な帯域幅の上限値）を推定する。例えば、帯域幅推定部３３は、サーバ２に試験ストリームを送信し、返送された試験ストリームを受信し、ラウンドトリップタイム、パケットロス率などの品質情報を計測し、品質情報を事前に設定された解析モデルに入力することにより、可用帯域幅を推定してもよい。ただし、可用帯域幅の推定方法は上記したものに限定されるものではない。帯域幅は、例えば、単位がＭｂｐｓ（Ｍｅｇａｂｉｔｓ　ｐｅｒ　ｓｅｃｏｎｄ）の伝送速度で表される。
　画質決定部３４は、対象領域抽出部３２において抽出された対象領域ごとに、対象領域に含まれる対象物体の優先度と、帯域幅推定部３３で推定された映像圧縮装置３とサーバ２との間の伝送路における可用帯域幅とに基づいて、当該対象領域の画質を決定する。決定された画質は、映像圧縮部３５で圧縮処理する際の画質である。
　具体的には、画質決定部３４は、以下の２つの条件を満たす画質を決定する。
　（条件１）相対的に高優先度の対象物体を含む対象領域を、相対的に低優先度の対象物体を含む対象領域よりも高画質又は同じ画質で圧縮処理する。
　（条件２）映像圧縮部３５において圧縮済みの映像を可用帯域幅以下の帯域幅でサーバ２に送信できる。
　画質決定部３４による画質決定処理は、後に詳述する。
　映像圧縮部３５は、画質決定部３４で決定された画質に基づいて、対象領域ごとに画質を変更して、カメラ５から出力される映像（各画像）を圧縮する。
　圧縮方法は、例えば、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ　ＨＥＶＣなどである。画質は、例えば、量子化パラメータＱＰにより表現される。画像（領域）圧縮時に量子化パラメータＱＰを小さくするほど、伸張された画像（領域）は高画質となり、量子化パラメータＱＰを大きくして画像（領域）を圧縮するほど、伸張された画像（領域）は低画質となる。
　映像圧縮部３５は、圧縮済み映像を構成する各画像の対象領域の画質を識別するための情報を、圧縮済み映像に付加する。つまり、映像圧縮部３５は、圧縮済み映像を構成する各画像のブロックごとの画質を識別するための情報を、圧縮済み映像に付加する。例えば、映像圧縮部３５は、ブロック番号と量子化パラメータＱＰとを対応付けた情報を、圧縮済み映像に付加する。
　また、映像圧縮部３５は、圧縮済み映像を構成する各画像の対象領域に含まれる対象物体を識別するための情報を、圧縮済み映像に付加する。つまり、映像圧縮部３５は、圧縮済み映像を構成する各画像のブロックごとに当該ブロックに含まれる対象物体を識別するための情報を、圧縮済み映像に付加する。例えば、映像圧縮部３５は、ブロックごとに、ブロック番号と当該ブロックに含まれる対象物体の名称情報とを対応付けた情報を、圧縮済み映像に付加してもよい。また、映像圧縮部３５は、ブロックごとに、ブロック番号と当該ブロックに含まれる対象物体の種類に対応した番号とを対応付けた情報を、圧縮済み映像に付加してもよい。
　映像圧縮部３５は、情報が付加された圧縮済み映像を記憶装置３６に記憶させる。
　映像送信部３７は、映像圧縮部３５から情報が付加された圧縮済み映像を取得し、取得した圧縮済み映像をネットワーク４を介してサーバ２に送信する。
　〔サーバの構成〕
　図８は、本開示の実施形態に係るサーバの構成を示すブロック図である。
　サーバ２は、映像受信部２１と、映像伸張部２２と、映像処理部２３とを備える。
　サーバ２は、ＣＰＵ等のプロセッサ、及び、揮発性メモリ又は不揮発性メモリなどの記憶装置を備えるコンピュータシステムにより構成されてもよい。記憶装置に記憶されているコンピュータプログラムをプロセッサ上で実行することにより、各処理部２１～２３は、その機能を発揮する。
　映像受信部２１は、ネットワーク４を介して映像圧縮装置３から圧縮済み映像を受信する。
　映像伸張部２２は、映像受信部２１が受信した圧縮済み映像を伸張することにより、元の映像を復元する。
　映像処理部２３は、伸張済みの映像に対して、所定の映像処理を実行する。例えば、映像処理部２３は、映像を構成する各画像に含まれる物体の外接矩形領域を検出する。また、映像処理部２３は、画像に含まれる物体の領域を画素単位で抽出する領域分割処理を実行してもよい。さらに、映像処理部２３は、画像に含まれる物体の骨格を推定する骨格推定処理を実行してもよい。
　サーバ２は、映像処理部２３による映像処理の結果を映像圧縮装置３に送信してもよい。
　〔映像圧縮装置の処理手順〕
　図９は、映像圧縮装置が実行する処理の手順の一例を示すフローチャートである。
　対象領域抽出部３２は、カメラ５から出力される画像中の各ブロックについて、対象物体Ａ～Ｄが含まれるか否かを判定し、対象物体Ａ～Ｄそれぞれを含む対象領域を抽出する（ステップＳ１）。例えば、対象領域抽出部３２は、判定対象のブロックに対象物体Ｃが含まれると判定したとする。この場合、対象領域抽出部３２は、判定対象のブロックを、対象物体Ｃを含む対象領域として抽出する。また、対象領域抽出部３２は、判定対象のブロックに対象物体Ａと対象物体Ｂが含まれると判定したとする。この場合、対象領域抽出部３２は、判定対象のブロックを、優先度の高い対象物体Ａを含む対象領域として抽出する。また、対象領域抽出部３２は、判定対象のブロックに対象物体が含まれないと判定したとする。この場合、対象領域抽出部３２は、判定対象のブロックを、背景領域として抽出する。このような対象領域の抽出処理を行うことにより、各ブロックは、対象物体Ａ～Ｄのいずれかを含む対象領域又は背景領域に分類される。
　帯域幅推定部３３、画質決定部３４及び映像圧縮部３５は、対象物体Ａ～Ｄを含む対象領域及び背景領域の画質を決定する（ステップＳ２）。
　図１０は、画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。
　帯域幅推定部３３は、映像圧縮装置３とサーバ２との間の通信経路における可用帯域幅を推定する（ステップＳ１１）。
　画質決定部３４は、帯域幅推定部３３により推定された可用帯域幅のレベルを判定する（ステップＳ１２）。可用帯域幅のレベルは事前に決定されているものとする。例えば、画質決定部３４は、可用帯域幅がａ以上の場合には高レベルと判定し、可用帯域幅がａ未満かつｂ以上の場合には中レベルと判定し、可用帯域幅がｂ未満の場合には低レベルと判定する。ここで、ａ及びｂは予め定められた値であり、ａ＞ｂである。
　可用帯域幅のレベルが高レベルの場合には（ステップＳ１２において高）、画質決定部３４は、対象物体Ａ～Ｄのいずれかを含む対象領域を圧縮する際の量子化パラメータＱＰとして、画質レベル１の量子化パラメータＱＰを設定し、背景領域に画質レベル４の量子化パラメータＱＰを設定する（ステップＳ１３）。ここで、画質レベルは、画質が高い順に画質レベル１、画質レベル２、画質レベル３、画質レベル４を含む。各画質レベルは、量子化パラメータＱＰに対応付けられており、画質レベル１、画質レベル２、画質レベル３、画質レベル４の順に、量子化パラメータＱＰが小さい。例えば、画質レベル１、画質レベル２、画質レベル３、及び画質レベル４の量子化パラメータＱＰは、それぞれ、３０、３５、４０、及び５０であるものとする。
　可用帯域幅のレベルが中レベルの場合には（ステップＳ１２において中）、画質決定部３４は、対象物体Ａ～Ｄのいずれかを含む対象領域に画質レベル２の量子化パラメータＱＰを設定し、背景領域に画質レベル４の量子化パラメータＱＰを設定する（ステップＳ１４）。
　可用帯域幅のレベルが低レベルの場合には（ステップＳ１２において低）、画質決定部３４は、対象物体Ａ～Ｄのいずれかを含む対象領域に画質レベル３の量子化パラメータＱＰを設定し、背景領域に画質レベル４の量子化パラメータＱＰを設定する（ステップＳ１５）。
　映像圧縮部３５は、ステップＳ１３～Ｓ１５のいずれかで設定された量子化パラメータＱＰに基づいて、カメラ５から出力される画像を圧縮した際のデータ量を推定する（ステップＳ１６）。一例として、映像圧縮部３５は、量子化パラメータＱＰごとに、１つのブロック画像を当該量子化パラメータＱＰで量子化して圧縮した後の平均的なデータ量を示したデータテーブルを参照し、全ブロック画像の圧縮後のデータ量を見積もることにより、１フレームの画像の圧縮後のデータ量を推定する。
　例えば、対象物体Ａを含む対象領域、対象物体Ｂを含む対象領域、対象物体Ｃを含む対象領域、対象物体Ｄを含む対象領域、及び背景領域のブロック数が、それぞれ、ＮＡ、ＮＢ、ＮＣ、ＮＤ、及びＮＥであり、全てのブロックは対象物体を０個又は１個含むとする。また、対象物体Ａを含む対象領域、対象物体Ｂを含む対象領域、対象物体Ｃを含む対象領域、対象物体Ｄを含む対象領域、及び背景領域を圧縮する際の量子化パラメータＱＰが、それぞれ、ＱＰＡ、ＱＰＢ、ＱＰＣ、ＱＰＤ、及びＱＰＥであるとする。さらに、量子化パラメータＱＰＡ、ＱＰＢ、ＱＰＣ、ＱＰＤ、及びＱＰＥで１ブロック画像を圧縮した後の１ブロック画像の平均的なデータ量をＤＡ、ＤＢ、ＤＣ、ＤＤ及びＤＥであるとする。この場合、映像圧縮部３５は、１フレームの画像の圧縮後のデータ量が、（ＮＡ×ＤＡ＋ＮＢ×ＤＢ＋ＮＣ×ＤＣ＋ＮＤ×ＤＤ＋ＮＥ×ＤＥ）であると推定する。
　映像圧縮部３５は、１フレームの画像の圧縮後のデータ量に、１秒間あたりに含まれるフレーム数（例えば、３０）を乗算することにより、１秒間あたりの圧縮済み映像のデータ量を推定する。
　画質決定部３４は、ステップＳ１１において推定された可用帯域幅と、ステップＳ１６において推定された圧縮済み映像のデータ量とを比較することにより、圧縮済み映像をサーバ２に送信する際に帯域不足が発生するか否かを判断する（ステップＳ１７）。例えば、画質決定部３４は、１秒間あたりの圧縮済み映像のデータ量が可用帯域幅を超える場合に帯域不足が発生すると判断してもよい。また、画質決定部３４は、１秒間あたりの圧縮済み映像のデータ量に所定のマージン（正の値）を加算したデータ量が可用帯域幅を超える場合に帯域不足が発生すると判断してもよい。このようにすることで、可用帯域幅に変動が生じる場合を考慮して帯域不足の発生の有無を判断することができる。
　帯域不足が発生すると判断された場合には（ステップＳ１７においてＹＥＳ）、画質決定部３４は、設定された量子化パラメータＱＰを、優先度の低い対象物体を含む対象領域に対して設定された量子化パラメータＱＰから順に上げ（画質を下げ）、量子化パラメータＱＰを設定しなおす（ステップＳ１８）。その後、ステップＳ１６以降の処理を繰り返し実行する。ここで、量子化パラメータＱＰを変化させる量は、所定値（例えば、２）であるとしてもよい。例えば、ステップＳ１３において、対象物体Ａ～Ｄに、画質レベル１に対応した量子化パラメータＱＰとして３０が設定されているとする。画質決定部３４は、最も優先度が低い対象物体Ｄを含む対象領域の量子化パラメータＱＰを２だけ増加させ、３２に変更する。
　画質決定部３４は、対象物体Ｄの量子化パラメータＱＰの増加だけでは帯域不足が解消されない場合には、対象物体Ｃ、Ｂ、Ａの順に、帯域不足が解消されるまで、量子化パラメータＱＰを上げる。例えば、画質決定部３４は、対象物体Ｃ、Ｂ、Ａのそれぞれを含む対象領域の量子化パラメータＱＰを、順に３２に変更する。
　画質決定部３４は、それでも帯域不足が解消されない場合には、同様に、対象物体Ｄ、Ｃ、Ｂ、Ａの順に、帯域不足が解消されるまで、さらに量子化パラメータＱＰを上げる。例えば、画質決定部３４は、対象物体Ｄ、Ｃ、Ｂ、Ａを含む対象領域を、順に、３４に変更する。
　帯域不足が発生しないと判断された場合には（ステップＳ１７においてＮＯ）、画質決定部３４は、設定された量子化パラメータＱＰを、優先度の高い対象物体を含む対象領域に対して設定された量子化パラメータＱＰから順に下げ（画質を上げ）、量子化パラメータＱＰを設定しなおす（ステップＳ１９）。ここで、量子化パラメータＱＰを変化させる量は、所定値（例えば、１）であるとしてもよい。例えば、ステップＳ１３において、対象物体Ａ～Ｄに、画質レベル１に対応した量子化パラメータＱＰとして３０が設定されているとする。画質決定部３４は、最も優先度が高い対象物体Ａを含む対象領域の量子化パラメータＱＰを１だけ減少させ、２９に変更する。
　映像圧縮部３５は、ステップＳ１９で設定された量子化パラメータＱＰに基づいて、カメラ５から出力される映像を圧縮した際のデータ量を推定する（ステップＳ２０）。ステップＳ２０の処理は、ステップＳ１６の処理と同様である。
　ステップＳ２０の後、画質決定部３４は、ステップＳ１１において推定された可用帯域幅と、ステップＳ２０において推定された圧縮済み映像のデータ量とを比較することにより、圧縮済み映像をサーバ２に送信する際に帯域不足が発生するか否かを判断する（ステップＳ２１）。ステップＳ２１の処理は、ステップＳ１７の処理と同様である。
　帯域不足が発生しないと判断された場合には（ステップＳ２１においてＮＯ）、ステップＳ１９に戻る。
　帯域不足が発生すると判断された場合には（ステップＳ２１においてＹＥＳ）、画質決定部３４は、ステップＳ１９において最後に処理を行った対象物体を含む対象領域の量子化パラメータＱＰの値を変更前の値に戻す（ステップＳ２２）。例えば、ステップＳ１９において最後に処理を行ったのが、対象物体Ａを含む対象領域の量子化パラメータＱＰを３０から２９に変更する処理であった場合には、画質決定部３４は、当該量子化パラメータＱＰを２９から３０に戻す。
　図１０に示したステップＳ１１～Ｓ２２の処理により、対象物体Ａ～Ｄを含む対象領域及び背景領域の画質に対応した量子化パラメータＱＰが決定される。
　再び図９を参照して、映像圧縮部３５は、設定された量子化パラメータＱＰに基づいて、カメラ５から出力される映像を圧縮する（ステップＳ３）。
　映像圧縮部３５は、対象領域の画質を識別するための情報を圧縮済み映像に付加する（ステップＳ４）。
　映像圧縮部３５は、対象領域に含まれる対象物体を識別するための情報を圧縮済み映像に付加する（ステップＳ５）。
　映像圧縮部３５は、これらの情報が付加された圧縮済み映像を記憶装置３６に書き込む（ステップＳ６）。
　映像送信部３７は、圧縮済み映像を映像圧縮部３５から受け、サーバ２に送信する（ステップＳ７）。なお、ステップＳ６の処理とステップＳ７処理は並列に実行されてもよい。
　映像圧縮装置３は、図９に示す処理を映像を構成する各画像について行う。
　〔実施形態の適用例１〕
　図２に示した映像圧縮装置３は、例えば、自動車やオートバイ等の車両（移動体）に設置された車載装置であってもよい。例えば、映像圧縮装置３は、カメラ５が車両の前方を撮影した映像を圧縮してサーバ２に送信する。サーバ２は、圧縮済み映像を伸張し、伸張済み映像に基づいて、対象物体を映像処理により検出し、検出結果を映像圧縮装置３に送信する。車両に搭載された車載装置は、サーバ２による対象物体の検出結果に基づいて車両の遠隔監視及び遠隔制御の少なくとも１つを行う。つまり、圧縮済み映像は、移動体の遠隔監視及び遠隔制御の少なくとも１つに用いられる。
　この場合、対象物体の優先度は、移動体の他者に対する影響度合いに基づいて定められる。つまり、他者を対象物体とした場合に、移動体が他者に衝突した場合に移動体が与える影響の度合いが高い他者ほど優先度を高くする。例えば、対象物体Ａが歩行者であり、対象物体Ｂが乗用車であり、対象物体Ｃがトラックであり、対象物体Ｄが交通信号機である。
　このように対象物体の種類の優先度を設定することにより、移動体が与える影響が高い物体（他者）ほど伸張時の画質が良くなるように映像圧縮処理が実行される。
　〔実施形態の適用例２〕
　実施形態の適用例１と同様に、映像圧縮装置３は自動車等の移動体に設置された車載装置であってもよい。また、対象物体の優先度は、移動体の対象物体への衝突時の影響度合い、又は対象物体から収集される情報の有用性に基づいて定められてもよい。例えば、衝突時の影響度合いが高い対象物体の優先度を、対象物体が示す情報の有用性が高い対象物体の優先度と等しいかそれ以上とする。また、衝突時の影響度合いが高い対象物体ほど優先度を高くする。また、対象物体が示す情報の有用性が高い対象物体ほど優先度を高くする。例えば、対象物体Ａが歩行者、車両又は交通信号機であり、対象物体Ｂが道路標識であり、対象物体Ｃがバリケード又は三角コーンであり、対象物体Ｄが店舗の看板又は路面である。
　〔実施形態の適用例３〕
　対象物体の種類を画像上での物体のサイズに応じて決定してもよい。例えば、対象物体Ａは小サイズの物体、対象物体Ｂは中サイズの物体、対象物体Ｃは大サイズの物体としてもよい。各サイズは予め決められているものとする。これにより、映像圧縮装置３は、サイズの小さい物体ほど伸張時の画質が良くなるように映像圧縮処理を実行することができる。
　なお、対象物体Ａは大サイズの物体、対象物体Ｂは中サイズの物体、対象物体Ｃは小サイズの物体としてもよい。
　〔実施形態の効果〕
　以上説明したように、本開示の実施形態によると、対象物体の優先度と伝送路の可用帯域幅とに基づいて対象領域の画質の調整を図ることができる。つまり、優先度の高い対象物体を含む対象領域ほど高画質で伸張され、かつ、圧縮済みの映像が可用帯域幅を超えて伝送路に送出されないように、対象領域の画質を決定することができる。このため、通信に利用される伝送路の可用帯域幅が変動した場合であっても、高画質な注目領域を含む映像の伝送を実現することができる。
　また、画像を構成するブロックごとに対象物体を含むか否かを判断することにより対象領域を抽出している。このため、ブロックに区切られていない画像中から対象領域を抽出する場合に比べて、高速に対象領域を抽出することができる。
　また、可用帯域幅は、利用可能な帯域幅の上限値を示す。このため、優先度の高い対象物体を含む対象領域ほど高画質で伸張され、かつ、圧縮済みの映像が可用帯域幅を超えて伝送路に送出されないように、対象領域の画質を決定することができる。このため、圧縮済みの映像のデータ量を極限まで大きくすることができる。
　また、映像圧縮装置３が移動体に設置されている場合には、移動体が衝突した際に受ける影響が大きい対象物体ほど優先度が高く設定される。このため、衝突時に影響を受ける可能性が高い対象物体ほど、より衝突が回避されるように移動体の遠隔監視又は遠隔制御を行うことが可能となる。例えば、移動体が、衝突時に最も影響を受ける可能性の高い歩行者に接近した場合には、移動体を停止させる等の遠隔制御を行うことができる。
　また、移動体の衝突回避の必要性が高い対象物体ほど優先度を高く設定することができる。例えば、看板よりも歩行者への衝突回避の必要性が高い。このため、歩行者を含む対象領域の画質を、道路脇の看板を含む対象領域の画質よりも大きく設定することができる。これにより、可用帯域幅が小さくなっている場合であっても、歩行者への衝突を回避するため、移動体を停止させる等の・BR>投U制御を行うことができる。また、対象物体から得られる情報が移動体の遠隔監視又は遠隔制御にとって有用である対象物体ほど優先度を高くすることができる。例えば、交通信号機から得られる情報の方が、看板から得られる情報よりも移動体の遠隔監視又は遠隔制御にとって有用である。このため、交通信号機を含む対象領域の画質を、道路脇の看板を含む対象領域の画質よりも大きく設定することができる。
　また、圧縮済み映像には、対象領域の画質の情報が付加されている。このため、圧縮済み映像を受信したサーバ２が、当該映像に付加された画質の情報を伸張後の映像に付け加えることにより、伸張後の映像を人が見たときに、各対象領域の画質を感覚的にではなく定量的に理解することができる。
　また、圧縮済み映像には、対象領域に含まれる対象物体の情報が付加されている。このため、圧縮済み映像を受信したサーバ２は、当該映像に付加された対象物体の情報に基づいて、ブロック単位で対象物体に対する処理（例えば、対象物体の認識処理）を効率的に行うことができる。
　＜変形例１＞
　上述の実施形態では、映像（画像）を構成する全てのブロック画像を圧縮することとした。これに対し、変形例１では、対象領域以外の領域である背景領域と予め定められた優先度未満の対象物体を含むブロック画像から構成される対象領域とを除外して映像を圧縮する。
　例えば、映像圧縮装置３の画質決定部３４は、最も優先度が低い対象物体Ｄを含む対象領域と背景領域とを圧縮対象から除外して映像を圧縮することとして画質を決定する。例えば、画質決定部３４は、対象物体Ｄを含む対象領域と背景領域の圧縮後のブロック画像のデータ量が一定値（例えば、上記したＤＤ＝ＤＥ＝０）であると仮定して圧縮済み映像のデータ量を推定し、推定したデータ量と可用帯域幅とを比較することにより帯域不足が発生するか否かを判断する。画質決定部３４は、実施形態１と同様に、上記判断処理と対象物体Ａ～Ｃの画質の増減を繰り返す。これにより、圧縮済み映像のデータ量が可用帯域幅以下となる最もよい画質を、対象物体Ａ～Ｃを含む対象領域について決定する。
　変形例１によると、背景領域と重要度の低い対象物体を含む対象領域とを除外することにより、圧縮済みの映像のデータ量を低く抑えることができる。これにより、可用帯域幅を超えない範囲において、重要度の高い対象物体を含む対象領域を高画質で送信することができる。また、圧縮済みの映像を受信して処理する場合において、重要度の低い情報が事前に除外されていることより、高速に処理が可能である。このため、このような圧縮済みの映像はリアルタイム処理に好適である。
　＜変形例２＞
　図１０のステップＳ１３～Ｓ１５において説明したように、上述の実施形態では、帯域レベルに応じて、全ての対象領域を同じ画質レベルに設定した。しかし、全ての対象領域を同じ画質レベルに設定しなくてもよい。
　図１１は、変形例２に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。
　図１１に示す処理は、図１０に示したステップＳ１３～Ｓ１５の代わりに、ステップＳ３１～Ｓ３３を含む。ステップＳ１１及びＳ１６～Ｓ２２の処理は、図１０に示したものと同様である。
　可用帯域幅のレベルが高レベルの場合には（ステップＳ１２において高）、画質決定部３４は、対象物体Ａ～Ｄのいずれかを含む対象領域に画質レベル１の量子化パラメータＱＰを設定し、背景領域に画質レベル４の量子化パラメータＱＰを設定する（ステップＳ３１）。
　可用帯域幅のレベルが中レベルの場合には（ステップＳ１２において中）、画質決定部３４は、対象物体Ａ～Ｂのいずれかを含む対象領域に画質レベル１の量子化パラメータＱＰを設定し、対象物体Ｃ～Ｄのいずれかを含む対象領域に画質レベル２の量子化パラメータＱＰを設定し、背景領域に画質レベル４の量子化パラメータＱＰを設定する（ステップＳ３２）。
　可用帯域幅のレベルが低レベルの場合には（ステップＳ１２において低）、画質決定部３４は、対象物体Ａを含む対象領域に画質レベル１の量子化パラメータＱＰを設定し、対象物体Ｂを含む対象領域に画質レベル２の量子化パラメータＱＰを設定し、対象物体Ｃ～Ｄのいずれかを含む対象領域に画質レベル３の量子化パラメータＱＰを設定し、背景領域に画質レベル４の量子化パラメータＱＰを設定する（ステップＳ３２）。
　変形例２によると、例えば、対象物体Ａを含む対象領域には、初期状態では画質レベル１の量子化パラメータＱＰが設定される。このため、優先度の高い対象物体を含む対象領域が、上述の実施形態よりも高い画質で圧縮処理される。
　＜変形例３＞
　上述の実施形態では、圧縮済み映像が使用する帯域幅が可用帯域幅を超える場合には、優先度の低い種類の対象物体を含む対象領域から順に画質を下げた。
　変形例３では、上述の実施形態と同様に圧縮済み映像が使用する帯域幅が可用帯域幅を超える場合には、優先度の低い種類の対象物体を含む対象領域から順に画質を下げる。ただし、重要な対象物体を含む対象領域については画質を下げることなく固定するものとする。
　図１２は、変形例３に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。
　図１２に示す処理は、図１０に示したステップＳ１８の代わりに、ステップＳ４１を含む。ステップＳ１１～Ｓ１７及びＳ１９～Ｓ２２の処理は、図１０に示したものと同様である。
　帯域不足が発生すると判断された場合には（ステップＳ１７においてＹＥＳ）、画質決定部３４は、設定された量子化パラメータＱＰを、優先度の低い対象物体を含む対象領域に対して設定された量子化パラメータＱＰから順に上げ（画質を下げ）、量子化パラメータＱＰを設定しなおす（ステップＳ４１）。このとき、画質決定部３４は、対象物体Ｂ～Ｄを含む対象領域の量子化パラメータＱＰを変更するが、対象物体Ａを含む対象領域の量子化パラメータＱＰを変更しない。ここで、量子化パラメータＱＰを変化させる量は、所定値（例えば、２）である。
　例えば、ステップＳ１３において、対象物体Ａ～Ｄに、画質レベル１に対応した量子化パラメータＱＰとして３０が設定されているとする。画質決定部３４は、対象物体Ｂ～Ｄのうち、最も優先度が低い対象物体Ｄを含む対象領域の量子化パラメータＱＰを２だけ増加させ、３２に変更する。
　画質決定部３４は、対象物体Ｄの量子化パラメータＱＰの増加だけでは帯域不足が解消されない場合には、対象物体Ｃ、Ｂの順に、帯域不足が解消されるまで、量子化パラメータＱＰを上げる。例えば、画質決定部３４は、対象物体Ｃ、Ｂのそれぞれを含む対象領域の量子化パラメータＱＰを、順に３２に変更する。
　画質決定部３４は、それでも帯域不足が解消されない場合には、同様に、対象物体Ｄ、Ｃ、Ｂの順に、帯域不足が解消されるまで、さらに量子化パラメータＱＰを上げる。例えば、画質決定部３４は、対象物体Ｄ、Ｃ、Ｂを含む対象領域を、順に、３４に変更する。
　変形例３によると、少なくとも最も優先度の高い対象物体Ａを含む対象領域については、通信帯域幅の変化によらずに一定の画質を維持した上で、サーバ２に圧縮済み映像を送信することができる。
　＜変形例４＞
　上述の実施形態では、映像を構成する画像１フレームごとに画質を決定した。これに対し、時系列の複数フレームの画像に共通した画質を決定してもよい。
　図１３は、変形例４に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。
　図１３に示すフローチャートは、図１０に示したフローチャートに、ステップＳ５１及びＳ５２が加わったものである。
　ここでは、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ　ＨＥＶＣなどの圧縮方法における圧縮の単位であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）に含まれる複数の画像に対し共通した画質を決定する。
　画質決定部３４は、圧縮対象の画像がＧＯＰの先頭ピクチャ（Ｉピクチャ）であるか否かを判断する（ステップＳ５１）。圧縮対象画像が先頭ピクチャの場合には（ステップＳ５１においてＹＥＳ）、ステップＳ１１～Ｓ２２の処理が実行され、先頭ピクチャに含まれる各対象領域及び背景領域の画質が決定される。ステップＳ１１～Ｓ２２の処理は、図１０に示したものと同様である。
　圧縮対象画像が先頭ピクチャでない場合には（ステップＳ５１においてＮＯ）、画質決定部３４は、圧縮対象画像に含まれる各領域の画質として、先頭ピクチャに含まれる各領域の画質を設定する（ステップＳ５２）。
　変形例４によると、同一ＧＯＰ内の同一領域においては同一の画質が維持される。
　なお、ＧＯＰごとではなく、所定時間（例えば、１分）ごとに画質を決定するようにしてもよい。つまり、所定時間の先頭フレームの画像について画質を決定し、残りのフレームの画像については先頭フレームの画像に対して決定した画質を維持するようにしてもよい。
　＜変形例５＞
　上述の実施形態では、映像を構成する画像１フレームごとに画質を決定した。これに対し、可用帯域幅の変化があった場合にのみ画質を決定してもよい。
　図１４は、変形例５に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。
　図１４に示すフローチャートは、図１０に示したフローチャートに、ステップＳ６１及びＳ６２が加わったものである。
　画質決定部３４は、帯域幅推定部３３により推定された可用帯域幅が変化したか否かを判定する（ステップＳ６１）。例えば、画質決定部３４は、最後に画質を決定する際に参照した可用帯域幅から所定値以上可用帯域幅が変化した場合に、可用帯域幅が変化したと判定し、それ以外の場合には、可用帯域幅が変化していないと判定する。なお、映像の１フレーム目の画像を圧縮処理する際には、画質決定部３４は、可用帯域幅が変化したと判定する。
　可用帯域幅が変化したと判定された場合には（ステップＳ６１においてＹＥＳ）、ステップＳ１１～Ｓ２２の処理が実行され、圧縮対象画像に含まれる各領域の画質が決定される。ステップＳ１１～Ｓ２２の処理は、図１０に示したものと同様である。
　可用帯域幅が変化していないと判定された場合には（ステップＳ６１においてＮＯ）、画質決定部３４は、圧縮対象画像に含まれる各領域の画質として、最後に可用帯域幅が変化したと判定された際に決定された各領域の画質を設定する（ステップＳ６２）。
　変形例５によると、可用帯域幅の変化が少ない場合には圧縮済み映像のデータ量を変化させる必要がない。このため、画質を変化させないことにより、圧縮済み映像のデータ量を変化させないようにすることができる。これにより、不必要に画質の決定処理を行う必要が無くなる。
　＜変形例６＞
　変形例６では、予め定められた優先度未満の対象物体を含む対象領域の画質として、予め定められた対象物体の存在が認識可能な下限の画質（以下、「限界画質」という。）を設定する。例えば、限界画質を示す量子化パラメータＱＰの値は５０である。ここで、量子化パラメータＱＰの最大値は５１である。
　図１５は、変形例６に係る画質決定処理（図９のステップＳ２）の詳細を示すフローチャートである。
　図１５に示すフローチャートは、図１０に示したフローチャートに、ステップＳ７１を加え、ステップＳ１３、Ｓ１４、Ｓ１５の代わりにステップＳ７２、Ｓ７３、Ｓ７４を用い、ステップＳ１８、Ｓ１９の代わりにステップＳ７５、Ｓ７６を用いたものである。
　ステップＳ１１、Ｓ１２、Ｓ１６、Ｓ１７、Ｓ２０～Ｓ２２の処理は、図１０に示したものと同様である。
　画質決定部３４は、種類Ｃの対象物体の優先度未満の対象物体（つまり、対象物体Ｄ）を含む対象領域の画質に限界画質を設定する（ステップＳ７１）。
　可用帯域幅のレベルが高レベルの場合には（ステップＳ１２において高）、画質決定部３４は、対象物体Ａ～Ｃのいずれかを含む対象領域を圧縮する際の量子化パラメータＱＰとして、画質レベル１の量子化パラメータＱＰを設定する（ステップＳ７２）。
　可用帯域幅のレベルが中レベルの場合には（ステップＳ１２において中）、画質決定部３４は、対象物体Ａ～Ｃのいずれかを含む対象領域に画質レベル２の量子化パラメータＱＰを設定する（ステップＳ７３）。
　可用帯域幅のレベルが低レベルの場合には（ステップＳ１２において低）、画質決定部３４は、対象物体Ａ～Ｃのいずれかを含む対象領域に画質レベル３の量子化パラメータＱＰを設定する（ステップＳ７４）。
　帯域不足が発生すると判断された場合には（ステップＳ１７においてＹＥＳ）、画質決定部３４は、対象物体Ａ～Ｃを含む対象領域に設定された量子化パラメータＱＰを、優先度の低い対象物体を含む対象領域に対して設定された量子化パラメータＱＰから順に上げ（画質を下げ）、量子化パラメータＱＰを設定しなおす（ステップＳ７５）。この処理は、図１２のステップＳ４１の処理と同様である。
　帯域不足が発生しないと判断された場合には（ステップＳ１７においてＮＯ）、画質決定部３４は、対象物体Ａ～Ｃを含む対象領域に設定された量子化パラメータＱＰを、優先度の高い対象物体を含む対象領域に対して設定された量子化パラメータＱＰから順に下げ（画質を上げ）、量子化パラメータＱＰを設定しなおす（ステップＳ７６）。ここで、量子化パラメータＱＰを変化させる量は、所定値（例えば、１）である。
　本変形例によると、重要度の低い対象物体Ｄを含む対象領域は、対象物体Ｄの存在が認識可能な下限の画質となるように圧縮される。このため、重要度の低い対象物体Ｄを含む対象領域のデータ量をできるだけ低く抑えた上で、映像を圧縮することができる。このような圧縮済みの映像は、例えば、通常は重要度の高い対象物体Ａ～Ｃを含む対象領域に対してのみ認識処理を実行するが、映像の再検証の必要性が生じた場合には、重要度の低い対象物体Ｄを含む全てを含む対象領域に対して認識処理を実行するなどの検証用途に用いることができる。このため、このような圧縮済みの映像は、記憶装置への保存用途に好適である。
　［付記］
　上記の各装置を構成する構成要素の一部又は全部は、１又は複数のシステムＬＳＩなどの半導体から構成されていてもよい。
　上記したコンピュータプログラムを、コンピュータ読取可能な不揮発性記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
　また、上記の各装置は、複数のコンピュータ又は複数のプロセッサにより実現されてもよい。
　また、上記の各装置の一部又は全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部又は全部の機能がクラウドサーバにより実現されていてもよい。
　さらに、上記実施形態及び上記変形例の少なくとも一部を任意に組み合わせてもよい。
　今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
１　　　映像処理システム
２　　　サーバ
３　　　映像圧縮装置
４　　　ネットワーク
５　　カメラ
１１　　犬
１２　　自転車
１３　　自動車
１４　　樹木
２１　　映像受信部
２２　　映像伸張部
２３　　映像処理部
３２　　対象領域抽出部
３３　　帯域幅推定部
３４　　画質決定部
３５　　映像圧縮部
３６　　記憶装置
３７　　映像送信部
４１Ｂ　対象領域
４１Ｃ　対象領域
４１Ｄ　対象領域

Claims (10)

  1. 　映像圧縮装置による映像圧縮方法であって、
    　映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出するステップと、
    　抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定するステップと、
    　決定された前記対象領域の画質に基づいて、前記映像を圧縮するステップと、
    　圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信するステップとを含む、映像圧縮方法。
  2. 　圧縮済みの前記映像は、移動体の遠隔監視及び遠隔制御の少なくとも１つに用いられ、
    　前記優先度は、前記移動体の前記対象物体に対する影響度合いに基づいて定められる、請求項１に記載の映像圧縮方法。
  3. 　圧縮済みの前記映像は、移動体の遠隔監視及び遠隔制御の少なくとも１つに用いられ、
    　前記優先度は、前記対象物体から収集される情報の有用性に基づいて定められる、請求項１又は請求項２に記載の映像圧縮方法。
  4. 　前記映像を圧縮するステップでは、前記対象領域以外の領域である背景領域と予め定められた優先度未満の前記対象物体を含む前記対象領域とを除外して前記映像を圧縮する、請求項１から請求項３のいずれか１項に記載の映像圧縮方法。
  5. 　前記画質を決定するステップでは、前記対象物体の存在が認識可能な予め定められた下限の画質を、予め定められた優先度未満の前記対象物体を含む前記対象領域の画質として決定する、請求項１から請求項４のいずれか１項に記載の映像圧縮方法。
  6. 　前記映像を圧縮するステップでは、決定された前記対象領域の画質の情報を付加した圧縮済みの前記映像を生成する、請求項１から請求項５のいずれか１項に記載の映像圧縮方法。
  7. 　前記映像を圧縮するステップでは、前記対象領域に含まれる前記対象物体の情報を付加した圧縮済みの前記映像を生成する、請求項１から請求項６のいずれか１項に記載の映像圧縮方法。
  8. 　前記画質を決定するステップでは、前記可用帯域幅に所定値以上の変化があった場合に前記対象領域の画質を決定し、前記可用帯域幅に前記所定値以上の変化があった場合に決定された前記対象領域の画質を、前記可用帯域幅に前記所定値以上の変化がなかった場合の前記対象領域の画質とする、請求項１から請求項７のいずれか１項に記載の映像圧縮方法。
  9. 　映像を圧縮する映像圧縮装置であって、
    　前記映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出する対象領域抽出部と、
    　抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定する画質決定部と、
    　決定された前記対象領域の画質に基づいて、前記映像を圧縮する映像圧縮部と、
    　圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信する映像送信部とを備える、映像圧縮装置。
  10. 　コンピュータを映像圧縮装置として機能させるためのコンピュータプログラムであって、
    　前記コンピュータを、
    　映像を構成する各画像から、複数の対象物体のいずれかを含む対象領域を抽出する対象領域抽出部、
    　抽出された前記対象領域に含まれる前記対象物体の優先度と、伝送路の可用帯域幅とに基づいて、前記対象領域の画質を決定する画質決定部、
    　決定された前記対象領域の画質に基づいて、前記映像を圧縮する映像圧縮部、及び、
    　圧縮済みの前記映像を、前記伝送路を介して前記映像圧縮装置の外部に送信する映像送信部として機能させるための、コンピュータプログラム。
PCT/JP2023/010673 2022-04-11 2023-03-17 映像圧縮方法、映像圧縮装置、及びコンピュータプログラム WO2023199696A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022065258 2022-04-11
JP2022-065258 2022-04-11

Publications (1)

Publication Number Publication Date
WO2023199696A1 true WO2023199696A1 (ja) 2023-10-19

Family

ID=88329367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/010673 WO2023199696A1 (ja) 2022-04-11 2023-03-17 映像圧縮方法、映像圧縮装置、及びコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2023199696A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112856A (ja) * 1996-10-04 1998-04-28 Agency Of Ind Science & Technol 画像伝送装置および方法
JP2012244437A (ja) * 2011-05-19 2012-12-10 Canon Inc 画像処理装置、画像処理方法
JP2013168739A (ja) * 2012-02-14 2013-08-29 Hitachi Ltd 画像処理システム、及び、画像処理方法
WO2018037890A1 (ja) * 2016-08-23 2018-03-01 日本電気株式会社 映像処理装置、映像処理方法及びプログラムを記憶する記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112856A (ja) * 1996-10-04 1998-04-28 Agency Of Ind Science & Technol 画像伝送装置および方法
JP2012244437A (ja) * 2011-05-19 2012-12-10 Canon Inc 画像処理装置、画像処理方法
JP2013168739A (ja) * 2012-02-14 2013-08-29 Hitachi Ltd 画像処理システム、及び、画像処理方法
WO2018037890A1 (ja) * 2016-08-23 2018-03-01 日本電気株式会社 映像処理装置、映像処理方法及びプログラムを記憶する記憶媒体

Similar Documents

Publication Publication Date Title
WO2021164216A1 (zh) 一种视频编码方法、装置、设备及介质
US20190007678A1 (en) Generating heat maps using dynamic vision sensor events
WO2022067656A1 (zh) 一种图像处理方法及装置
JP6392572B2 (ja) 画像受信装置、画像伝送システムおよび画像受信方法
CN113660486B (zh) 图像编码、解码、重建、分析方法、系统及电子设备
US20240105193A1 (en) Feature Data Encoding and Decoding Method and Apparatus
EP3975133A1 (en) Processing of images captured by vehicle mounted cameras
Chan et al. Influence of AVC and HEVC compression on detection of vehicles through Faster R-CNN
CN114679607A (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN117441333A (zh) 用于输入图像数据处理神经网络的辅助信息的可配置位置
CN114157870A (zh) 编码方法、介质及电子设备
JP4561649B2 (ja) 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
CN113727073A (zh) 一种基于云计算实现车载视频监控的方法及系统
WO2023199696A1 (ja) 映像圧縮方法、映像圧縮装置、及びコンピュータプログラム
WO2024108950A1 (zh) 一种码流控制方法、装置及电子设备
EP3972252A1 (en) Program, device, and method for generating significant video stream from original video stream
Akamatsu et al. A Video Object Detection Method of ECNet Based on Frame Difference and Grid Cell Confidence
KR20210055257A (ko) 사고 영상 분석 시스템 및 이를 이용한 분석 방법
JP7143263B2 (ja) 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム
WO2023132163A1 (ja) 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム
CN115294429A (zh) 一种基于特征域网络训练方法和装置
CN117321989A (zh) 基于神经网络的图像处理中的辅助信息的独立定位
WO2024198897A1 (zh) 一种视频传输方法、装置、存储介质和系统
CN109168007B (zh) 一种标定焦点及其图像传输的方法
JP3838516B2 (ja) 伝送画質監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788118

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024514865

Country of ref document: JP