WO2011104890A1 - 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体 - Google Patents

画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体 Download PDF

Info

Publication number
WO2011104890A1
WO2011104890A1 PCT/JP2010/053480 JP2010053480W WO2011104890A1 WO 2011104890 A1 WO2011104890 A1 WO 2011104890A1 JP 2010053480 W JP2010053480 W JP 2010053480W WO 2011104890 A1 WO2011104890 A1 WO 2011104890A1
Authority
WO
WIPO (PCT)
Prior art keywords
background
data
image
image data
unit
Prior art date
Application number
PCT/JP2010/053480
Other languages
English (en)
French (fr)
Inventor
偉剛 許
Original Assignee
Xu Weigang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xu Weigang filed Critical Xu Weigang
Priority to PCT/JP2010/053480 priority Critical patent/WO2011104890A1/ja
Publication of WO2011104890A1 publication Critical patent/WO2011104890A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • the present invention relates to an image compression apparatus, an image expansion apparatus, an image compression method, an image expansion method, and a recording medium.
  • moving image data has an enormous amount of data.
  • I-frame Intra-coded Frame
  • B frames Bi-directional Predicted Frame
  • P frames Predicted Frame
  • B frames Bi-directional Predicted Frame
  • the amount of data cannot be significantly reduced.
  • Patent Document 1 a technique for extracting image data of only a person is known (see, for example, Patent Document 1). In such a technique, since the background image captured in the absence of a person in advance and the image data obtained by extracting only the person by comparing the image captured during monitoring are not retained, the background image data is not retained. The amount can be reduced.
  • An object of the present invention is to provide an image compression method, an image expansion method, and a recording medium.
  • image data is acquired, and a plurality of background data generated based on the acquired image data is associated with identification information for identifying the background data Included in the predetermined region of the background data stored in the background data storage unit and the pixel value of the pixel included in the predetermined region of the acquired image data and the background data stored in the background data storage unit
  • identification information for identifying the background data Included in the predetermined region of the background data stored in the background data storage unit and the pixel value of the pixel included in the predetermined region of the acquired image data and the background data stored in the background data storage unit
  • a plurality of background data and identification information for identifying the background data are associated with each other and stored in the background data storage unit, and the identification corresponding to the background data is stored in a predetermined area of the image data determined to be the background.
  • FIG. 1 is a block diagram illustrating a configuration of a security device to which the image compression device according to the first embodiment is applied.
  • FIG. 2 is an explanatory diagram illustrating an example of a data configuration of the background data storage unit.
  • FIG. 3 is an explanatory diagram showing a procedure for generating background separation data.
  • FIG. 4 is an explanatory diagram illustrating an example of moving image data transmitted by the transmission unit.
  • FIG. 5 is a flowchart showing a moving image data generation processing procedure performed by the security device.
  • FIG. 6 is a block diagram illustrating a configuration of the monitoring apparatus according to the first embodiment.
  • FIG. 7 is a flowchart showing an image data reproduction processing procedure performed by the monitoring apparatus.
  • FIG. 8 is an explanatory diagram illustrating an example of a relationship between background data, a dictionary table, and an image table.
  • FIG. 9 is a block diagram illustrating a configuration of a security device to which the image compression device according to the first embodiment is applied.
  • FIG. 1 is a block diagram illustrating a configuration of a security device 100 to which the image compression device according to the first embodiment is applied.
  • the security device 100 is connected to a monitoring device 200 described later via a network.
  • the image data is described as a color moving image, but the present invention is not limited to this, and a monochrome moving image may be used instead of a color moving image.
  • the security device 100 includes a surveillance camera 101, an image data acquisition unit 102, a background separation data generation unit 103, a compression unit 106, a transmission unit 107, a background data storage unit 108, and background training. Unit 109 and background difference generation unit 110.
  • the transmission unit 107 is connected to a monitoring device 200 described later via a network, and transmits and receives data.
  • the monitoring camera 101 images the monitoring area.
  • the monitoring camera 101 converts an imaged image into an electrical signal by an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and inputs the image as image data.
  • the image data acquisition unit 102 acquires image data input from the monitoring camera 101.
  • the image data acquisition unit 102 may acquire image data transmitted from another monitoring camera or server connected via a network instead of the monitoring camera 101.
  • the background data storage unit 108 stores a plurality of background data in association with identification information for identifying the background data.
  • the background data is image data and is represented by a pixel value for each pixel.
  • the background data may be image data captured by the monitoring camera 101 and acquired by the image data acquisition unit 102 when the security device 100 is first operated, or may be background data prepared in advance. Good. Every time image data is acquired, the background data is updated with the pixel values of the pixels determined to be the background by the background training unit 109 and the background difference generation unit 110 described later.
  • FIG. 2 is an explanatory diagram showing an example of the data configuration of the background data storage unit 108.
  • the background separation data generation unit 103 generates background separation data using the image data acquired by the image data acquisition unit 102 and the background data stored in the background data storage unit 108.
  • the background separation data is a pixel value of a pixel in a predetermined area (for example, 8 pixels ⁇ 8 pixels) of image data and a predetermined area of any background data stored in the background data storage unit 108.
  • the identification data for identifying the background data is stored in a predetermined area of the image data, so that the image data is not the background and the background (hereinafter referred to as an object).
  • FIG. 3 is an explanatory diagram showing a procedure for generating background separation data.
  • the pixel value “A” in the area 31 of the image data is the same as the pixel value “A” in the area 31 of the background data B1. Therefore, the background separation data generation unit 103 stores “0”, which is identification information of the background data B1, in the background separation data area 31.
  • the pixel value “A” illustrated in FIG. 3 indicates a pixel value of 8 pixels ⁇ 8 pixels. The same applies to “B” to “E” described later.
  • the pixel values of other regions are compared, and if the pixel value is the same as the pixel value of the background data B1, “0” that is the identification information of the background data B1 is stored. Further, the pixel value “B” in the area 32 of the image data and the pixel value “B” in the area 32 of the background data B2 are the same value.
  • the background separation data generation unit 103 stores “1”, which is identification information of the background data B2, in the background separation data area 32. Further, the pixel value “A” of the region 33 of the image data and the pixel value “A” of the pixel 33 of the background data B3 are the same value.
  • the background separation data generation unit 103 stores “2”, which is identification information of the background data B3, in the background separation data area 33. For other regions, the pixel values are similarly compared, and if the pixel values are the same as the pixel values of the background data B2 and B3, the identification information “1” or “2” is stored. Since the pixel value “E” of the pixel 34 does not match any of the pixel values of the background data B1 to B3, it is determined as an object, and the pixel value “E” is also retained in the background separation data. Through such processing, background separation data is generated from the image data. In FIG. 3, the background separation data is schematically shown.
  • identification information indicating one background data is stored in the background portion for each predetermined area, information indicating the object is stored in the object portion, and pixels included in each object A configuration in which the pixel values are sequentially stored separately is conceivable.
  • the values stored in the background separation data are sequentially read, and in the case of background data identification information, the pixel value of the area of the background data is stored,
  • the image data can be reproduced by sequentially reading and storing the pixel value from the area in which the pixel value of the pixel of the object is stored.
  • the background data is determined when the pixel values match.
  • Whether or not it is background data is determined based on whether or not the pixel value of the image data is a pixel value within a predetermined range.
  • the following formula (1) is used.
  • SAD Sud of Absolute Differences
  • SAD is a value obtained by averaging the absolute values of the difference values of the pixel values of pixels included in a predetermined area of two image data.
  • A is a pixel value of a pixel of background data
  • B is a pixel value of a pixel of image data
  • N is the number of pixels in the vertical and horizontal directions of the predetermined area. If the SAD is less than or equal to the threshold value, the image in this area has a small difference from the background data, so it is determined as the background, and the identification information of the corresponding background data is stored. On the other hand, if the SAD is larger than the threshold value, the image in this area has a large difference from the background data, so it is determined as an object and the pixel value of the image data is held as it is.
  • the background training unit 109 determines a pixel value of an area in the image data serving as new background data and pixels included in the area among the pixels determined to be an object. More specifically, the background training unit 109 determines that the pixel value of the pixel in the area determined as the object in the background separation data is the same value or a predetermined range as the pixel value previously determined as the object in the area. If the value is within the range, the number of times of storage is counted up, and it is determined whether or not the number of times of storage exceeds a threshold value. It should be noted that a plurality of sets of pixel values can be taken for one target region, and the number of times of storage is counted for each set of pixel values to determine whether or not a threshold value has been exceeded.
  • the area in the image data may be one or a plurality of predetermined areas (for example, an area of 8 pixels ⁇ 8 pixels) obtained by dividing the image data, or may be one pixel.
  • the background difference generation unit 110 generates background difference data from the region where the number of times of storage exceeds the threshold and the pixel values of the pixels included in the region, and updates the background data stored in the background data storage unit 108 with the background difference data To do.
  • the background difference data is a set of a pixel value of an area in the image data for updating the background data and pixels included in the area.
  • the compression unit 106 compresses the background separation data generated by the background separation data generation unit 103 by a general-purpose still image compression method.
  • the compression unit 106 similarly compresses the background difference data generated by the background difference generation unit 110 and the background data stored in the background data storage unit 108.
  • General-purpose still image compression methods include, for example, JPEG (Joint Photographic Experts Group) and VQ (Vector Quantization) methods.
  • the background portion and the object portion of the background separation data may be compressed by different compression methods.
  • the background portion may be compressed by JPEG, and the object portion may be compressed by a compression method with higher reproducibility when decompressed.
  • the transmission unit 107 transmits the background data, background separation data, and background difference data compressed by the compression unit 106 to the monitoring device 200.
  • FIG. 4 is an explanatory diagram illustrating an example of moving image data transmitted by the transmission unit 107.
  • data 41 to 43 are compressed background data.
  • Data 44 is compressed background separation data.
  • a plurality of background data is transmitted, and the background separation data generated for each image data is transmitted one after another. Thereby, the apparatus which received the image can reproduce image data from background data and background separation data.
  • Data 45 is compressed background difference data.
  • FIG. 5 is a flowchart showing the moving image data generation processing procedure performed by the security device 100.
  • the image data acquisition unit 102 acquires image data captured by the monitoring camera 101 (step S501).
  • the image data acquisition unit 102 determines whether the image data has been completed (step S502). If it is determined that the image data has ended (step S502: Yes), the process ends.
  • the background separation data generation unit 103 acquires background data from the background data storage unit 108 (step S503).
  • the background separation data generation unit 103 generates background separation data from the image data and the background data (step S504).
  • the compression unit 106 compresses the background separation data (step S505).
  • the transmission unit 107 transmits the compressed background separation data to the monitoring device 200 (step S506).
  • the transmission unit 107 compresses the background data stored in the background data storage unit 108 by the compression unit 106 and transmits the compressed data to the monitoring device 200. Thereafter, the compressed background separation data is transmitted to the monitoring device 200.
  • the background training unit 109 stores the pixel value of the pixel in the area determined as the object when the pixel value is the same as the pixel value previously stored at the position or the difference value is within a predetermined range.
  • the number of times is counted up (step S507).
  • the area determined to be an object and the pixel values of the pixels included in the area are stored when it is first determined to be an object.
  • the background training unit 109 determines whether the number of times of storage has exceeded a threshold value (step S508). When it is determined that the number of times of storage does not exceed the threshold value (step S508: No), the process returns to step S501.
  • the background difference generation unit 110 When it is determined that the number of times of storage has exceeded the threshold (step S508: Yes), the background difference generation unit 110 generates background difference data (step S509).
  • the compression unit 106 compresses the background difference data (step S510).
  • the transmission unit 107 transmits the compressed background difference data to the monitoring device 200 (step S511).
  • the background difference generation unit 110 updates the background data stored in the background data storage unit 108 with the background difference data (step S512), and returns to step S501. Therefore, each time the image data is acquired by the image data acquisition unit 102, the background training unit 109 and the background difference generation unit 110 determine whether the object is a background and update the background data.
  • the background data can be changed dynamically, so that changes in the background can be reflected in the background data without time lag. it can.
  • a plurality of background data and the background separation data indicating the pixel values of the pixels determined to be the background by the identification information of the background data are transmitted to the monitoring apparatus 200 as moving image data, thereby being transmitted for each frame. Since the background separation data has more pixels that are determined to be the background, the amount of moving image data can be reduced.
  • the pixels in the area determined to be an object based on the background data stored in the background data storage unit 108 at the time of creating the background separation data are image data acquired after that, and the number of times equal to or greater than the threshold is stored.
  • FIG. 6 is a block diagram showing a configuration of the monitoring apparatus 200 according to the present embodiment.
  • the monitoring device 200 includes a receiving unit 201, an expansion unit 202, a background data storage unit 203, an image data generation unit 204, and a display unit 205.
  • the receiving unit 201 receives moving image data transmitted from the security device 100 via a network.
  • the network is, for example, a network to which a security device 100 such as the Internet or a LAN (Local Area Network) is connected.
  • the decompressing unit 202 decompresses the moving image data received by the receiving unit 201. More specifically, as shown in FIG. 4 described above, the decompression unit 202 decompresses the compressed background data, background separation data, and background difference data from the transmitted moving image data, and obtains background data and background data. Restore separated data and background difference data.
  • the decompression unit 202 stores the restored background data and the identification information included in the background data in the background data storage unit 203 in association with each other.
  • the decompressing unit 202 updates the background data stored in the background data storage unit 203 using the background difference data.
  • the background data storage unit 203 stores background data and identification information in association with each other.
  • the image data generation unit 204 generates image data for each frame from the background separation data restored by the decompression unit 202 and the background data stored in the background data storage unit 203.
  • the display unit 205 displays the image data generated by the image data generation unit 204 on a monitor.
  • FIG. 7 is a flowchart showing an image data reproduction processing procedure performed by the monitoring apparatus 200.
  • the receiving unit 201 receives moving image data (step S701).
  • the receiving unit 201 determines whether or not the moving image data has been received (step S702). If it is determined that the video data has been received (step S702: Yes), the process ends.
  • the expansion unit 202 expands the compressed moving image data (step S703).
  • the decompressing unit 202 determines whether or not the decompressed data is background data (step S704).
  • the background data includes information indicating that the data is background data and identification information for identifying the background data as described above, and determines whether the data is background data based on the information indicating that the data is background data. If it is determined that the decompressed data is background data (step S704: Yes), the decompression unit 202 stores the decompressed data in the background data storage unit 203 (step S705).
  • the background data storage unit 203 stores background data and identification information in association with each other.
  • step S704 determines whether the decompressed data is background separation data (step S706).
  • the background separation data includes information indicating that it is background separation data, and it is determined whether the background separation data is based on the information indicating that it is background separation data.
  • the image data generation unit 204 uses the decompressed data (that is, the background separation data) and the background data stored in the background data storage unit 203. Image data is generated from (step S707). Generation of image data from background data will be described in more detail.
  • the image data generation unit 204 When the image data generation unit 204 reads the background separation data and determines that the read data is identification information, the image data generation unit 204 calculates the pixel value of the background data pixel stored in the background data storage unit 203 corresponding to the position. Store in image data. As another example, the data between the information indicating the start of storage of the identification information and the information indicating the end in the background separation data may be determined as the identification information. Further, the image data generation unit 204 reads the background separation data, and if it is determined that the read data is information indicating an object, the image data generation unit 204 stores the read data as it is in the image data as the pixel value of the pixel of the object. By repeating such processing, one image data is generated from one background separation data.
  • the display unit 205 displays the image data on the monitor (step S708). Note that the image data generated by the image data generation unit 204 may be displayed on the display unit 205 instead of being displayed on the display unit 205 or may be stored in a storage unit (not shown). If it is determined that the decompressed data is not background separation data (step S706: No), the process proceeds to step S709.
  • the decompressing unit 202 determines whether the decompressed data is background difference data (step S709).
  • the background difference data includes information indicating the background difference data and identification information for identifying the background data, and determines whether the background difference data is based on the information indicating the background difference data.
  • the decompression unit 202 stores the decompressed data in the background data storage unit 203 and the background corresponding to the identification information for identifying the background data.
  • the data is updated (step S710), and the process returns to step S701. If it is determined that the decompressed data is not background difference data (step S710: No), the process returns to step S701.
  • the background of the image data is represented by using the identification information of the plurality of background data, and the background data is also updated when the background data is updated, thereby reducing the amount of data transmitted to the monitoring apparatus 200. Therefore, the monitoring device 200 can reproduce the image data without delay.
  • FIG. 8 is an explanatory diagram illustrating an example of a relationship between background data, a dictionary table, and an image table.
  • a dictionary table corresponding to each background data area and an image table corresponding to each background data area are provided.
  • the dictionary table stores index information and usage frequency in association with each other.
  • the image table stores index information and image data in association with each other.
  • the dictionary table (0, 0) corresponding to the area (0, 0) stores the usage frequency “2” in association with the index information “1”.
  • the background training unit 109 adds 1 to the usage frequency of the index information in the dictionary table corresponding to that area. Further, when the image data is not selected as the background a predetermined number of times, 1 is subtracted from the usage frequency, and when the usage frequency becomes 0, the index information and the usage frequency are deleted from the dictionary table. At the same time, the index information whose usage frequency is 0 and the corresponding image data are deleted from the image table corresponding to the background data area.
  • the background data can be represented only by the index information, and the background image data can be generated simply by holding the index information of the image data frequently used for each predetermined area and the image data for each area. Therefore, the data amount of the entire background data can be reduced as compared with the case where pixel values are held for each of a plurality of background data.
  • the background data is always optimized. Therefore, when the background separation data is generated, the image data and the background data Therefore, the processing time can be reduced without any unnecessary comparison.
  • the number of index information that can be used for each region may be determined according to the capacity of the storage unit that stores the image data.
  • the number of index information is determined as 1 to 16, and when the image data is determined to be the background, the index information and the use frequency are added to the dictionary table, and the index information and the image data are added to the image table. When the number of index information exceeds 16, index information or the like is not added to the dictionary table and the image table.
  • the security device 100 transmits image data obtained by imaging the monitoring area with the monitoring camera 101 to the monitoring device 200 connected via the network, and the monitoring device 200 transmits the transmitted image data.
  • content image data of programs such as news and sports
  • the above-described image compression device and image expansion device may be applied when performing compression or expansion processing of content (image data such as a movie) distributed from a content server of a content provider.
  • the security device 100 according to the present embodiment is not limited to the above-described device and method, and the CPU (processor) in the security device 100 stores an image compression program for realizing the above-described embodiment. You may implement
  • the image compression program executed by the security device 100 has a module configuration including the above-described units (image data acquisition unit, background separation data generation unit, compression unit, transmission unit, background training unit, background difference generation unit).
  • the CPU reads the image compression program from the ROM and executes it, so that the above-described units are loaded on the main storage device, and the image data acquisition unit 102, the background separation data generation unit 103, the compression unit 106, A transmission unit 107, a background training unit 109, and a background difference generation unit 110 are generated on the main storage device.
  • the background data storage unit 108 may be configured on the main storage device, or may be configured by any commonly used storage medium such as an HDD (Hard Disk Drive), an optical disk, or a memory card.
  • the CPU in the monitoring apparatus 200 of the present embodiment may be realized by operating various devices by reading out and executing an image expansion program for realizing the above-described embodiment from the ROM. Good.
  • the image decompression program executed by the monitoring apparatus 200 has a module configuration including the above-described units (reception unit, decompression unit, image data generation unit, display unit).
  • the CPU reads from the ROM.
  • the image compression program By reading out and executing the image compression program, the above-described units are loaded on the main storage device, and the reception unit 201, the decompression unit 202, the image data generation unit 204, and the display unit 205 are generated on the main storage device.
  • the image compression program and the image expansion program are provided by being incorporated in advance in a ROM or the like.
  • the background data storage unit 203 can be configured by any recording medium that is generally used such as an HDD, an optical disk, and a memory card, in addition to being configured on the main storage device.
  • the image compression program and the image expansion program are files in an installable or executable format and can be read by a computer such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk). You may provide by recording on a recording medium. Further, the image compression program and the image expansion program may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the image compression program and the image expansion program may be provided or distributed via a network such as the Internet. Second embodiment A second embodiment will be described with reference to the accompanying drawings. As for the image compression apparatus and the image expansion apparatus to which the present embodiment is applied, the differences from the first embodiment will be described.
  • FIG. 9 is a block diagram illustrating a configuration of the security device 300 according to the second embodiment.
  • the security device 300 according to the present embodiment includes a surveillance camera 101, an image data acquisition unit 102, a background separation data generation unit 103, an image data storage unit 304, an interframe reference unit 305, a compression unit 106, A transmission unit 107, a background data storage unit 108, a background training unit 109, a background difference generation unit 110, and an expansion unit 311 are provided.
  • the inter-frame reference unit 305 includes a pixel value of a pixel included in an area determined to be an object in the background separation data generated by the background separation data generation unit 103, and the previous frame stored in the image data storage unit 304.
  • a region where the difference value from the pixel value of the image data is equal to or less than the threshold (that is, the region of the object in the previous frame) is searched, and the amount of movement ( ⁇ x, ⁇ y), a difference value between the pixel value of the pixel in the searched area and the pixel value of the pixel in the area determined as the object is calculated.
  • the inter-frame reference unit 305 calculates the difference value between the movement amount of the object and the pixel value only for the area determined as the object by the background separation data generation unit 103, and thereby searches for the current frame. Therefore, the processing time can be shortened as compared with the case where the difference values are calculated for all the regions of the current frame and the previous frame. In addition, since the pixel value of the object portion is represented by a difference value, the entropy is reduced, and the compression rate is improved.
  • the inter-frame reference unit 305 stores the difference value between the calculated movement amount and the pixel value of the pixel of the object part in the background separation data.
  • the decompression unit 311 decompresses the background separation data including the difference between the amount of movement of the object and the pixel value of the object from the compressed data compressed by the compression unit 106, and generates image data from the decompressed background separation data. More specifically, the decompression unit 311 calculates the pixel value of the object portion from the image data of the previous frame stored in the storage unit (not shown), the difference between the object movement amount and the object pixel value, and performs background separation. Image data is generated by calculating the pixel value of the background portion from the data identification information and the pixel value of the background data.
  • the image data storage unit 304 stores the image data expanded by the expansion unit 311.
  • the image data storage unit 304 includes the image data of the previous frame (acquired by the image data acquisition unit 102) for the interframe reference unit 305 to obtain a difference value from the image data acquired by the image data acquisition unit 102 next.
  • the image data immediately before the image data) is stored.
  • the difference value calculated by the inter-frame reference unit 305 is calculated in consideration of the error that occurs when the compressed data is expanded in advance. Therefore, when the moving image data is decompressed by the monitoring apparatus 200, the possibility that an error occurs in the image data is reduced, and the quality of the decompressed image data can be improved.
  • the image data storage unit 304 may store the image data acquired by the image data acquisition unit 102 instead of the image data expanded by the expansion unit 311.
  • image data of the current frame and image data of the current frame and image data of the previous frame to be referred between frames (image data immediately before the current image data).
  • the security device 300 does not decompress the compressed data by the decompression unit 311, the decompression unit 311 is not required, the apparatus and processing are simplified, and the processing time for generating image data is shortened. it can.
  • the compression unit 106 compresses the background separation data storing the difference value between the object movement amount calculated by the inter-frame reference unit 305 and the object pixel value.
  • the image data generation unit 204 generates image data for each frame from the background separation data restored by the decompression unit 202, the background data stored in the background data storage unit 203, and the image data of the previous frame. More specifically, the image data generation unit 204 calculates the pixel value of the object portion from the pixel value of the previous frame, the difference between the object movement amount and the object pixel value stored in the background separation data, Image data is generated by calculating the pixel value of the background portion from the identification information stored in the background separation data and the pixel value of the background data.
  • this invention was demonstrated using 1st and 2nd embodiment, a various change or improvement can be added to the said embodiment.
  • the functions and configurations described in the first and second embodiments can be freely combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　背景データを利用するための作業負担が小さく、かつ、画像データのデータ量を効果的に削減することができる。　画像データ取得部（１０２）は、画像データを取得し、背景分離データ生成部（１０３）は、取得された画像データのうちの所定の領域に含まれる画素の画素値と、複数の背景データと前記背景データを識別する識別情報とを対応づけて記憶する背景データ記憶部（１０８）に記憶された背景データのうちの所定の領域に含まれる画素の画素値の差分値が閾値以下である場合に、当該所定の領域に背景データに対応する識別情報を格納する背景分離データを生成し、圧縮部（１０６）は、背景分離データ生成部（１０３）によって生成された背景分離データを圧縮する。　

Description

画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体
本発明は、画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体に関する。
　従来、動画データは、データ量が膨大であるため、例えばＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式では、フレーム間予測せずに符号化するＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ　Ｆｒａｍｅ）と、画像を復元する際に前方や後方のフレームを参照するＰフレーム（Ｐｒｅｄｉｃｔｅｄ　Ｆｒａｍｅ）や、Ｂフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ　Ｐｒｅｄｉｃｔｅｄ　Ｆｒａｍｅ）を用いて、動画データを構成することにより、動画データのデータ量を削減している。しかし、このような技術を用いても、データ量の大きなＩフレームを周期的、かつ、頻繁に挿入する必要があるため、大幅にデータ量を削減することができないという問題があった。
　このような問題を解決する技術として、人物のみの画像データを抽出する技術が知られている（例えば特許公報１参照）。かかる技術では、予め人物が不在の際に撮影した背景の画像と、監視時に撮影した画像を比較して人物のみを抽出した画像データを保持することにより、背景の画像データを保持しないため、データ量を削減することができる。
特開２００５−７１０６４号公報
　しかしながら、上記特許文献１に記載された技術では、予め背景の画像データを撮像する必要があり、背景が変化した場合には改めて人物等を含まない状態の画像を撮像しなければならないため、背景データを利用するための作業負担が大きいという問題があった。
　また、背景の一部や全部が時間の経過によって変化するような場合は、撮像された画像データの背景が予め保持している背景と異なると、変化した背景も人物と判断されてしまうため、データ量を効果的に削減することができないという問題があった。
　本発明は、上記に鑑みてなされたものであって、背景データを利用するための作業負担が小さく、かつ、画像データのデータ量を効果的に削減することができる画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、画像データを取得し、取得された画像データに基づいて生成された複数の背景データと、前記背景データを識別する識別情報とを対応づけて背景データ記憶部に記憶し、取得された前記画像データのうちの所定の領域に含まれる画素の画素値と、前記背景データ記憶部に記憶された前記背景データのうちの前記所定の領域に含まれる画素の画素値との差分値が閾値以下である場合に、当該所定の領域に前記背景データに対応する識別情報を格納する背景分離データを生成し、生成された前記背景分離データを圧縮することを特徴とする。
　また、複数の背景データと前記背景データを識別する識別情報とを対応づけて背景データ記憶部に記憶し、画像データのうち、背景と判断された所定の領域に、前記背景データに対応する識別情報を格納した背景分離データとを受信し、受信された前記背景分離データを伸張し、前記背景データ記憶部に記憶された複数の背景データと前記識別情報、および、伸長された背景分離データに基づいて、画像データを生成することを特徴とする。
　図１は、第１の実施の形態にかかる画像圧縮装置を適用した警備装置の構成を示すブロック図である。
　図２は、背景データ記憶部のデータ構成の一例を示す説明図である。
　図３は、背景分離データを生成する手順を示す説明図である。
　図４は、送信部によって送信される動画データの一例を示す説明図である。
　図５は、警備装置が行なう動画データ生成処理手順を示すフローチャートである。
　図６は、第１の実施の形態にかかる監視装置の構成を示すブロック図である。
　図７は、監視装置が行なう画像データ再生処理手順を示すフローチャートである。
　図８は、背景データと辞書テーブル、画像テーブルとの関係の一例を示す説明図である。
　図９は、第１の実施の形態にかかる画像圧縮装置を適用した警備装置の構成を示すブロック図である。
　１００　３００　警備装置
　１０１　監視カメラ
　１０２　画像データ取得部
　１０３　背景分離データ生成部
　１０６　圧縮部
　１０７　送信部
　１０８　背景データ記憶部
　１０９　背景トレーニング部
　１１０　背景差分生成部
　２００　監視装置
　２０１　受信部
　２０２　伸張部
　２０３　背景データ記憶部
　２０４　画像データ生成部
　２０５　表示部
　３０４　画像データ記憶部
　３０５　フレーム間参照部
　３１１　伸張部
　以下に添付図面を参照して、画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体の最良な実施の形態を詳細に説明する。なお、画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体はこれらの実施の形態に限定されるものではない。
第１の実施の形態
　図１は、第１の実施の形態にかかる画像圧縮装置を適用した警備装置１００の構成を示すブロック図である。警備装置１００は、後述する監視装置２００とネットワークを介して接続している。本実施の形態では、画像データはカラー動画として説明するが、これに限定されるものではなく、カラー動画に代えてモノクロ動画であってもよい。
　本実施の形態にかかる警備装置１００は、監視カメラ１０１と、画像データ取得部１０２と、背景分離データ生成部１０３と、圧縮部１０６と、送信部１０７と、背景データ記憶部１０８と、背景トレーニング部１０９と、背景差分生成部１１０とを備えている。なお、送信部１０７は、後述する監視装置２００にネットワークを介して接続され、データを送受信する。
　監視カメラ１０１は、監視領域を撮像する。監視カメラ１０１は、撮像した画像をＣＣＤ（Ｃｈａｒｇ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子によって電気信号に変換し、画像データとして入力する。
　画像データ取得部１０２は、監視カメラ１０１から入力された画像データを取得する。なお、画像データ取得部１０２は、監視カメラ１０１に代えてネットワークを介して接続された他の監視カメラやサーバから送信された画像データを取得するようにしてもよい。
　背景データ記憶部１０８は、複数の背景データと、その背景データを識別する識別情報とを対応づけて記憶する。ここで、背景データとは、画像データであり、画素ごとの画素値で表される。また、背景データは、警備装置１００が最初に動作した時点では、監視カメラ１０１によって撮像され、画像データ取得部１０２によって取得された画像データであっても、予め用意された背景データであってもよい。背景データは、さらに画像データが取得されるごとに、後述する背景トレーニング部１０９、背景差分生成部１１０によって背景と判断された画素の画素値により更新される。図２は、背景データ記憶部１０８のデータ構成の一例を示す説明図である。図２に示すように、複数の背景データと、その背景データを識別する識別情報とが対応づけて記憶されている。
　背景分離データ生成部１０３は、画像データ取得部１０２によって取得された画像データと、背景データ記憶部１０８に記憶された背景データを用いて、背景分離データを生成する。ここで、背景分離データとは、画像データの所定の領域（例えば、８画素×８画素）の画素の画素値と、背景データ記憶部１０８に記憶されたいずれかの背景データの所定の領域の画素の画素値との差分値が、閾値であった場合に、画像データの所定の領域に、背景データを識別する識別情報を格納することにより、画像データを背景と背景以外（以下、オブジェクトという）とに分離したデータである。
　図３は、背景分離データを生成する手順を示す説明図である。図３に示すように、画像データの領域３１の画素値“Ａ”と、背景データＢ１の領域３１の画素値“Ａ”が同一である。よって、背景分離データ生成部１０３は、背景分離データの領域３１に、背景データＢ１の識別情報である“０”を格納する。なお、図３で示す画素値“Ａ”は、８画素×８画素の画素値を示している。後述する“Ｂ”~“Ｅ”も同様である。他の領域についても、同様に各画素値を比較し、背景データＢ１の画素値と同一値である場合は、背景データＢ１の識別情報である“０”を格納する。
　また、画像データの領域３２の画素値“Ｂ”と、背景データＢ２の領域３２の画素値“Ｂ”が同一値である。背景分離データ生成部１０３は、背景分離データの領域３２に、背景データＢ２の識別情報である“１”を格納する。また、画像データの領域３３の画素値“Ａ”と、背景データＢ３の画素３３の画素値“Ａ”が同一値である。背景分離データ生成部１０３は、背景分離データの領域３３に、背景データＢ３の識別情報である“２”を格納する。他の領域についても、同様に各画素値を比較し、背景データＢ２、Ｂ３の画素値と同一値である場合は、識別情報“１”または“２”を格納する。
　画素３４の画素値“Ｅ”は、背景データＢ１~Ｂ３のいずれの画素値とも一致しないため、オブジェクトと判断され、背景分離データにおいても画素値“Ｅ”が保持される。このような処理によって、画像データから背景分離データを生成する。なお、図３では、背景分離データを模式的に表している。実際の背景分離データは、所定の領域ごとに、背景部分には、１つの背景データを示す識別情報を格納し、オブジェクト部分には、オブジェクトを示す情報を格納するとともに、各オブジェクトに含まれる画素の画素値を別途順次格納するような構成が考えられる。このような背景分離データから画像データを再現する場合は、背景分離データに格納されている値を順次読み込み、背景データの識別情報である場合は、背景データの当該領域の画素値を格納し、オブジェクトを示す情報である場合には、オブジェクトの画素の画素値を記憶した領域から画素値を順次読み込んで格納することによって、画像データを再現することができる。
　上述した例では、画素値が一致した場合に背景データと判断したが、様々な誤差を考慮すると同一の背景であっても画素値が一致する場合は少ないため、背景データと判断する画素値にある程度の幅を持たせ、画像データの画素値が所定の範囲内の画素値であるか否かにより、背景データであるか否かを判断する。
　画像データの所定の領域内に含まれる画素の画素値が背景データの所定の領域に含まれる画素の画像値であるか否か判断するためには、以下の数式（１）を用いる。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ）は、２つの画像データの所定の領域に含まれる画素の画素値の差分値の絶対値を平均した値である。また、Ａは、背景データの画素の画素値であり、Ｂは画像データの画素の画素値を示す。Ｎは、所定の領域の縦および横方向の画素数である。ＳＡＤが閾値以下であれば、この領域の画像は背景データとの差異が小さいため、背景と判断され、対応する背景データの識別情報が格納される。一方、ＳＡＤが閾値より大きければ、この領域の画像は背景データとの差異が大きいため、オブジェクトと判断され、画像データの画素値がそのまま保持される。
　背景トレーニング部１０９は、オブジェクトと判断された画素のうち、新たな背景データとなる画像データにおける領域およびその領域に含まれる画素の画素値を判断する。より具体的には、背景トレーニング部１０９は、背景分離データのうちのオブジェクトと判断された領域の画素の画素値が、その領域で以前にオブジェクトと判断された画素値と同一値または所定の範囲内の値である場合に、格納回数をカウントアップし、格納回数が閾値を超えたか否かを判断する。なお、１つの対象領域に対して、複数の画素値の組をとることができ、画素値の組ごとに格納回数をカウントし、閾値を超えたか否かを判断する。画像データにおける領域とは、例えば画像データを分割した所定の領域（例えば、８画素×８画素の領域）の１つまたは複数でもよいし、１画素でもよい。
　背景差分生成部１１０は、格納回数が閾値を超えた領域およびその領域に含まれる画素の画素値から背景差分データを生成し、背景差分データで背景データ記憶部１０８に記憶された背景データを更新する。ここで、背景差分データとは、背景データを更新するための画像データにおける領域およびその領域に含まれる画素の画素値の組である。このように、現在の背景データとの関係でオブジェクトと判断された領域の画素であっても、その後頻繁に同一の画素値を取る場合はその画素値に基づいて背景データが更新されることにより、利用者が改めて背景データの撮像などを行なうことなく背景データを更新することができるため、利用者の作業負担を軽減することができる。
　圧縮部１０６は、背景分離データ生成部１０３によって生成された背景分離データを汎用的な静止画圧縮方法によって圧縮する。また、圧縮部１０６は、背景差分生成部１１０によって生成された背景差分データや、背景データ記憶部１０８に格納された背景データを同様に圧縮する。汎用的な静止画圧縮方法とは、例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）や、ＶＱ（Ｖｅｃｔｏｒ　Ｑｕａｎｔｉｚａｔｉｏｎ）法である。なお、背景分離データの背景部分とオブジェクト部分を異なる圧縮方法で圧縮してもよい。例えば、背景部分は、ＪＰＥＧで圧縮し、オブジェクト部分は、伸長した際により再現性の高い圧縮方法で圧縮してもよい。
　送信部１０７は、圧縮部１０６によって圧縮された背景データ、背景分離データおよび背景差分データを監視装置２００に送信する。図４は、送信部１０７によって送信される動画データの一例を示す説明図である。図４では、データ４１~４３は圧縮された背景データである。データ４４は、圧縮された背景分離データである。最初に、複数の背景データを送信し、次々と画像データごとに生成された背景分離データを送信する。これにより、画像を受信した装置では、背景データと背景分離データから画像データを再現することができる。また、データ４５は、圧縮された背景差分データである。背景差分データを受信した装置では、背景データＢ１を背景差分データで更新することにより、背景データすべてを送信することなく、背景データを更新することができるため、監視装置２００に送信する動画データのデータ量を削減することができる。また、データ４６以降は、更新された背景データに対応した背景分離データが送信される。
　次に、上述したように構成されている警備装置１００の動画データ生成処理について説明する。図５は、警備装置１００が行なう動画データ生成処理手順を示すフローチャートである。
　まず、画像データ取得部１０２は、監視カメラ１０１が撮像した画像データを取得する（ステップＳ５０１）。画像データ取得部１０２は、画像データが終了したか否かを判断する（ステップＳ５０２）。画像データが終了したと判断した場合は（ステップＳ５０２：Ｙｅｓ）、処理を終了する。
　画像データが終了していないと判断した場合は（ステップＳ５０２：Ｎｏ）、背景分離データ生成部１０３は背景データ記憶部１０８から背景データを取得する（ステップＳ５０３）。背景分離データ生成部１０３は、画像データと背景データから背景分離データを生成する（ステップＳ５０４）。
　圧縮部１０６は、背景分離データを圧縮する（ステップＳ５０５）。送信部１０７は、圧縮された背景分離データを監視装置２００に送信する（ステップＳ５０６）。なお、送信部１０７は、動画データを最初に送信する際には、背景データ記憶部１０８に記憶された背景データを圧縮部１０６によって圧縮し、監視装置２００に送信する。その後、圧縮された背景分離データを監視装置２００に送信する。
　次に、背景トレーニング部１０９は、オブジェクトと判断された領域の画素の画素値が、以前にその位置に格納されていた画素値と同一値またはその差分値が所定の範囲内である場合に格納回数をカウントアップする（ステップＳ５０７）。なお、格納回数をカウントするために、オブジェクトと判断された領域とその領域に含まれる画素の画素値は、最初にオブジェクトと判断された際に格納しておく。背景トレーニング部１０９は、格納回数が閾値を超えたか否かを判断する（ステップＳ５０８）。格納回数が閾値を超えていないと判断した場合は（ステップＳ５０８：Ｎｏ）、ステップＳ５０１に戻る。
　格納回数が閾値を超えたと判断した場合は（ステップＳ５０８：Ｙｅｓ）、背景差分生成部１１０は背景差分データを生成する（ステップＳ５０９）。圧縮部１０６は、背景差分データを圧縮する（ステップＳ５１０）。送信部１０７は、圧縮された背景差分データを監視装置２００に送信する（ステップＳ５１１）。背景差分生成部１１０は、背景差分データで背景データ記憶部１０８に記憶された背景データを更新し（ステップＳ５１２）、ステップＳ５０１に戻る。よって、背景トレーニング部１０９および背景差分生成部１１０では、画像データ取得部１０２で画像データが取得されるごとに、オブジェクトが背景であるか否かを判断して上で背景データを更新することにより、予め背景を撮像して保持しておくような静的な背景データの用い方に比べ、背景データを動的に変更することができるため、背景の変化をタイムラグなく背景データに反映することができる。
　このように、複数の背景データと、背景と判断された画素の画素値を背景データの識別情報で示した背景分離データを、動画データとして監視装置２００に送信することにより、フレームごとに送信される背景分離データは背景と判断される画素が多くなるため、動画データのデータ量を削減することができる。また、背景分離データを作成する時点で背景データ記憶部１０８に記憶されている背景データに基づきオブジェクトと判断された領域の画素が、それ以降に取得された画像データで、閾値以上の回数が格納されたと判断された場合には、その画素の位置および画素値で背景を更新することにより、利用者が改めて背景を撮像するような作業することなく、背景を更新することができるため、利用者の作業負担を軽減することができる。
　次に、上述した警備装置１００から送信された動画データを伸長して画像データを再生する監視装置２００について説明する。図６は、本実施の形態にかかる監視装置２００の構成を示すブロック図である。監視装置２００は、受信部２０１と、伸張部２０２と、背景データ記憶部２０３と、画像データ生成部２０４と、表示部２０５とを備えている。
　受信部２０１は、警備装置１００からネットワークを介して送信された動画データを受信する。ネットワークとは、例えば、インターネットやＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）のような警備装置１００が接続されたネットワークである。
　伸張部２０２は、受信部２０１によって受信された動画データを伸長する。より具体的には、伸張部２０２は、上述した図４に示すように、送信される動画データのうち、圧縮されている背景データや背景分離データ、背景差分データを伸張し、背景データや背景分離データ、背景差分データを復元する。伸張部２０２は、復元した背景データと、背景データに含まれる識別情報とを対応づけて背景データ記憶部２０３に格納する。また、伸張部２０２は、背景差分データを用いて、背景データ記憶部２０３に記憶された背景データを更新する。
　背景データ記憶部２０３は、背景データと識別情報とを対応づけて記憶する。画像データ生成部２０４は、伸張部２０２によって復元された背景分離データと、背景データ記憶部２０３に記憶された背景データから、１フレームごとの画像データを生成する。表示部２０５は、画像データ生成部２０４によって生成された画像データをモニタに表示する。
　次に、上述したように構成されている監視装置２００の画像データ再生処理について説明する。図７は、監視装置２００が行なう画像データ再生処理手順を示すフローチャートである。
　まず、受信部２０１は、動画データを受信する（ステップＳ７０１）。受信部２０１は、動画データの受信が終了したか否かを判断する（ステップＳ７０２）。動画データの受信が終了したと判断した場合は（ステップＳ７０２：Ｙｅｓ）、処理を終了する。動画データの受信が終了していないと判断した場合は（ステップＳ７０２：Ｎｏ）、伸張部２０２は圧縮されている動画データを伸長する（ステップＳ７０３）。
　伸張部２０２は、伸長されたデータが背景データであるか否かを判断する（ステップＳ７０４）。背景データには、背景データである旨を示す情報、および上述したように背景データを識別する識別情報が含まれ、背景データである旨を示す情報によって背景データであるか否かを判断する。伸長されたデータが背景データであると判断した場合は（ステップＳ７０４：Ｙｅｓ）、伸張部２０２は伸張したデータを背景データ記憶部２０３に格納する（ステップＳ７０５）。背景データ記憶部２０３には、背景データと識別情報とを対応づけて記憶する。伸長されたデータが背景データでないと判断した場合は（ステップＳ７０４：Ｎｏ）、ステップＳ７０６に進む。
　伸張部２０２は、伸長されたデータが背景分離データであるか否かを判断する（ステップＳ７０６）。背景分離データには、背景分離データである旨を示す情報が含まれ、背景分離データである旨を示す情報によって背景分離データであるか否かを判断する。伸長されたデータが背景分離データであると判断した場合は（ステップＳ７０６：Ｙｅｓ）、画像データ生成部２０４は伸張したデータ（すなわち背景分離データ）と、背景データ記憶部２０３に記憶された背景データから画像データを生成する（ステップＳ７０７）。
　背景データから画像データの生成をより詳細に説明する。画像データ生成部２０４は、背景分離データを読み込み、読み込まれたデータが識別情報であると判断した場合は、その位置に対応する背景データ記憶部２０３に格納された背景データの画素の画素値を画像データに格納する。また、他の例として、背景分離データ内に識別情報の格納の開始を示す情報と終了を示す情報の間のデータは識別情報であると判断してもよい。また、画像データ生成部２０４は、背景分離データを読み込み、読み込まれたデータがオブジェクトを示す情報であると判断した場合は、読み込んだデータをそのままオブジェクトの画素の画素値として画像データに格納する。このような処理を繰り返すことにより、１つの背景分離データから１つの画像データが生成される。
　表示部２０５は、画像データをモニタに表示する（ステップＳ７０８）。なお、画像データ生成部２０４によって生成された画像データは、表示部２０５で表示することに代えて、または表示部２０５で表示するとともに、図示していない記憶部に格納してもよい。伸長されたデータが背景分離データでないと判断した場合は（ステップＳ７０６：Ｎｏ）、ステップＳ７０９に進む。
　伸張部２０２は、伸長されたデータが背景差分データであるか否かを判断する（ステップＳ７０９）。背景差分データには、背景差分データである旨を示す情報と背景データを識別する識別情報が含まれ、背景差分データである旨を示す情報によって背景差分データであるか否かを判断する。伸長されたデータが背景差分データであると判断した場合は（ステップＳ７０９：Ｙｅｓ）、伸張部２０２は伸張したデータで背景データ記憶部２０３に記憶した、背景データを識別する識別情報に対応する背景データを更新し（ステップＳ７１０）、ステップＳ７０１に戻る。伸長されたデータが背景差分データでないと判断した場合は（ステップＳ７１０：Ｎｏ）、ステップＳ７０１に戻る。
　このように、画像データの背景を複数の背景データの識別情報を用いて表わし、背景データを更新する際も背景差分データで更新することにより、監視装置２００に送信されるデータ量が削減されるため、監視装置２００では遅延なく画像データを再生することができる。
　また、警備装置１００の変形例として、背景データを、上述したような画素ごとの画素値で表すことに代えて、背景データを所定の領域ごと（例えば８画素×８画素ごとに）に分割し、分割した所定の領域ごとに、画像データに対応づけられたインデックス情報で表す実施の形態について説明する。
　図８は、背景データと辞書テーブル、画像テーブルとの関係の一例を示す説明図である。図８に示すように、背景データの領域それぞれに対応した辞書テーブルと、背景データの領域それぞれに対応した画像テーブルを持つ。辞書テーブルは、インデックス情報と使用頻度とを対応づけて記憶する。画像テーブルは、インデックス情報と、画像データを対応づけて記憶する。
　図８に示す背景データは、領域ごとにインデックス情報を格納し、領域（０，０）にインデックス情報“１”を格納している。また、領域（０，０）に対応する辞書テーブル（０，０）には、インデックス情報“１”に対応づけて、使用頻度“２”を格納している。背景トレーニング部１０９は、ある領域でインデックス情報に対応する画像データが背景データとして使用された場合に、その領域に対応する辞書テーブルのインデックス情報の使用頻度に１を加算する。また、所定回数画像データが背景として選択されなかった場合に、使用頻度から１を減算し、使用頻度が０になった時点で、そのインデックス情報と使用頻度を辞書テーブルから削除する。同時に、背景データの領域に対応した画像テーブルから、使用頻度が０となったインデックス情報と、対応する画像データを削除する。これにより、背景データをインデックス情報のみで表すことができ、所定の領域ごとに使用頻度が高い画像データのインデックス情報と、領域ごとの画像データを保持するだけで、背景の画像データを生成することができるため、複数の背景データそれぞれについて画素値を保持する場合に比べて、背景データ全体のデータ量を削減することができる。また、上述した処理により、背景データは、領域ごとに使用頻度が高い画像データのみが保持され、背景データは常に最適化されているため、背景分離データを生成する際に画像データと背景データとの無駄な対比がされることなく、処理時間を削減することができる。
　なお、領域ごとに使用可能なインデックス情報の数量は、画像データを記憶する記憶部の容量に応じて定めてもよい。例えば、インデックス情報の数量として、１~１６と定め、画像データが背景と判断された場合に、インデックス情報と使用頻度を辞書テーブルに追加し、インデックス情報と画像データを画像テーブルに追加する。インデックス情報の数量が１６を超えた場合には、辞書テーブルおよび画像テーブルにインデックス情報等の追加を行なわないようにする。
　また、上述した実施例では、警備装置１００が、監視カメラ１０１で監視領域を撮像した画像データを、ネットワークを介して接続した監視装置２００に送信し、監視装置２００は、送信された画像データをモニタに表示して監視する監視システムに適用した場合について説明したが、そのほか、携帯電話にモバイル機器向けの地上デジタルテレビ放送で放送局から放送されるコンテンツ（ニュースやスポーツ等の番組の画像データ）や、コンテンツプロバイダのコンテンツサーバから配信されるコンテンツ（映画等の画像データ）の圧縮や伸張処理を行なう際に、上述した画像圧縮装置および画像伸張装置を適用してもよい。
　また、本実施の形態の警備装置１００は、上述した装置および方法のみに限定されるものではなく、警備装置１００内のＣＰＵ（プロセッサ）が、上述した実施形態を実現するための画像圧縮プログラムをＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）から読み出して実行することにより、各種デバイスを動作させることによって実現してもよい。警備装置１００で実行される画像圧縮プログラムは、上述した各部（画像データ取得部、背景分離データ生成部、圧縮部、送信部、背景トレーニング部、背景差分生成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭから画像圧縮プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像データ取得部１０２、背景分離データ生成部１０３、圧縮部１０６、送信部１０７、背景トレーニング部１０９、背景差分生成部１１０が主記憶装置上に生成される。
　なお、背景データ記憶部１０８は、主記憶装置上に構成するほか、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶媒体によって構成することもできる。
　また、同様に本実施の形態の監視装置２００内のＣＰＵが、上述した実施形態を実現するための画像伸張プログラムをＲＯＭから読み出して実行することにより、各種デバイスを動作させることによって実現してもよい。監視装置２００で実行される画像伸張プログラムは、上述した各部（受信部、伸張部、画像データ生成部、表示部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭから画像圧縮プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受信部２０１、伸張部２０２、画像データ生成部２０４、表示部２０５が主記憶装置上に生成される。なお、画像圧縮プログラムおよび画像伸張プログラムは、ＲＯＭ等に予め組み込まれて提供される。また、背景データ記憶部２０３は、主記憶装置上に構成するほか、ＨＤＤ、光ディスク、メモリカードなどの一般的に利用されているあらゆる記録媒体によって構成することもできる。
　また、画像圧縮プログラムおよび画像伸張プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供してもよい。
　さらに、画像圧縮プログラムおよび画像伸張プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、画像圧縮プログラムおよび画像伸張プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
第２の実施の形態
　第２の実施の形態について、添付図面を参照して説明する。本実施の形態が適用される画像圧縮装置および画像伸張装置については、第１の実施の形態と異なる部分について説明する。第１の実施の形態と同様の部分については、第１の実施の形態の説明を参照する。
　図９は、第２の実施の形態に警備装置３００の構成を示すブロック図である。本実施の形態にかかる警備装置３００は、監視カメラ１０１と、画像データ取得部１０２と、背景分離データ生成部１０３と、画像データ記憶部３０４と、フレーム間参照部３０５と、圧縮部１０６と、送信部１０７と、背景データ記憶部１０８と、背景トレーニング部１０９と、背景差分生成部１１０と、伸張部３１１とを備えている。
　フレーム間参照部３０５は、背景分離データ生成部１０３によって生成された背景分離データのうち、オブジェクトと判断された領域に含まれる画素の画素値と、画像データ記憶部３０４に記憶された前フレームの画像データの画素値との差分値が閾値以下である領域（すなわち、前フレームにおけるオブジェクトの領域）を検索し、検索された領域とオブジェクトと判断された領域との画像データにおける移動量（Δｘ，Δｙ）と、検索された領域の画素の画素値と、オブジェクトと判断された領域の画素の画素値の差分値を算出する。このように、フレーム間参照部３０５は、背景分離データ生成部１０３でオブジェクトと判断された領域のみを対象として、オブジェクトの移動量と画素値の差分値を算出することにより、現フレームで検索対象とする領域を限定することができるため、現フレームと前フレームのすべての領域について差分値を算出する場合に比べて処理時間を短縮することができる。また、オブジェクト部分の画素値が差分値で表されることにより、エントロピーが小さくなるため、圧縮率が向上する。
　フレーム間参照部３０５は、算出した移動量とオブジェクト部分の画素の画素値の差分値を背景分離データに格納する。
　伸張部３１１は、圧縮部１０６によって圧縮された圧縮データからオブジェクトの移動量とオブジェクトの画素値の差分値を含む背景分離データを伸長し、伸張した背景分離データから画像データを生成する。より具体的には、伸張部３１１は、図示しない記憶部に記憶された前フレームの画像データと、オブジェクトの移動量とオブジェクトの画素値の差分値からオブジェクト部分の画素値を算出し、背景分離データの識別情報と背景データの画素値から背景部分の画素値を算出して、画像データを生成する。
　画像データ記憶部３０４は、伸張部３１１によって伸張された画像データを記憶する。すなわち、画像データ記憶部３０４は、フレーム間参照部３０５が次に画像データ取得部１０２によって取得された画像データとの差分値を求めるための前フレームの画像データ（画像データ取得部１０２が取得した画像データの１つ前の画像データ）を記憶する。このように、画像データを圧縮し、さらに伸長した画像データを用いることにより、フレーム間参照部３０５で求めた差分値が予め圧縮データを伸長する際に生じる誤差を考慮した形で差分値を算出できるため、監視装置２００で動画データを伸長する際に画像データに誤差が生じる可能性が少なくなり、伸長した画像データの品質を向上することができる。
　なお、他の例として、画像データ記憶部３０４は、伸張部３１１によって伸長された画像データに代えて、画像データ取得部１０２によって取得された画像データを記憶してもよい。この場合は、少なくとも現フレームの画像データと、現フレームの画像データとフレーム間参照する前フレームの画像データ（現在の画像データの１つ前の画像データ）の２つの画像データを保持する。これにより、警備装置３００は、伸張部３１１による圧縮データの伸張を行なわないため、伸張部３１１が不要となり、装置や処理が簡素化されるとともに、画像データの生成の処理時間が短縮することができる。
　圧縮部１０６は、フレーム間参照部３０５によって算出されたオブジェクトの移動量とオブジェクトの画素値の差分値を格納した背景分離データを圧縮する。
　監視装置２００での処理について、上述した第１の実施の形態と異なる点を説明する。画像データ生成部２０４は、伸張部２０２によって復元された背景分離データ、背景データ記憶部２０３に記憶された背景データ、および前フレームの画像データから、１フレームごとの画像データを生成する。より具体的には、画像データ生成部２０４は、前フレームの画素値と、背景分離データに格納されているオブジェクトの移動量とオブジェクトの画素値の差分値からオブジェクト部分の画素値を算出し、背景分離データに格納されている識別情報と背景データの画素値から背景部分の画素値を算出して、画像データを生成する。
　以上、本発明を第１および第２の実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。また、第１および第２の実施の形態において説明した機能、構成は、自由に組み合わせることができる。

Claims (9)

  1. 複数の背景データと、前記背景データを識別する識別情報とを対応づけて記憶する背景データ記憶部と、
    　画像データを取得する画像データ取得部と、
    　取得された前記画像データのうちの所定の領域に含まれる画素の画素値と、前記背景データ記憶部に記憶された前記背景データのうちの前記所定の領域に含まれる画素の画素値との差分値が閾値以下である場合に、当該所定の領域に前記背景データに対応する識別情報を格納する背景分離データを生成する背景分離データ生成部と、
    　生成された前記背景分離データを圧縮する圧縮部と、を備えることを特徴とする画像圧縮装置。
  2. 前記画像データを記憶する画像データ記憶部と、
    　前記画像データ記憶部に記憶された前フレームの前記画像データから、現フレームの背景以外と判断された領域に含まれる画素の画素値との差分値が閾値以下である領域を検索し、検索された前記領域から前記背景以外と判断された領域までの移動量と、前記領域内の画素の画素値と前記背景以外と判断された領域に含まれる画素の画素値との差分値を算出し、算出された前記移動量と前記差分値を前記背景分離データに格納するフレーム間参照部と、をさらに備え、
    　前記圧縮部は、算出された前記移動量と前記差分値を格納した背景分離データを圧縮すること、を特徴とする請求項１に記載の画像圧縮装置。
  3. 生成された前記背景分離データのうちの、背景以外と判断された前記所定の領域ごとに、前記所定の領域に含まれる画素の画素値の組を格納した回数をカウントし、前記回数が閾値以上となった場合に、当該所定の領域および前記所定の領域に含まれる画素の画素値の組を背景差分データとし、前記背景差分データで前記背景データ記憶部に記憶した前記背景データを更新する背景トレーニング部、をさらに備えること、を特徴とする請求項１または請求項２に記載の画像圧縮装置。
  4. 前記背景データにおける所定の領域ごとに、前記所定の領域の画像データを対応づけられたインデックス情報と、前記画像データを使用した使用頻度とを対応づけて記憶する辞書記憶部と、
    　前記背景データにおける所定の領域ごとに、前記インデックス情報と、前記所定の領域の画像データとを対応づけて記憶する画像テーブル部と、をさらに備え、
    　前記背景データ記憶部は、前記所定の領域ごとに前記インデックス情報を格納した前記背景データを記憶し、
    　前記背景トレーニング部は、背景と判断された前記所定の領域ごとの画像データに基づいて、前記辞書記憶部に記憶された使用頻度を加減し、前記使用頻度が閾値以下となった場合に、前記辞書記憶部から当該インデックス情報および使用頻度を削除するとともに、前記画像テーブル部から当該インデックス情報および画像データを削除すること、を特徴とする請求項３に記載の画像圧縮装置。
  5. 複数の背景データと前記背景データを識別する識別情報とを対応づけて記憶する背景データ記憶部と、
    　画像データのうち、背景と判断された所定の領域に前記背景データに対応する識別情報を格納した背景分離データを受信する受信部と、
    　受信された前記背景分離データを伸張する伸張部と、
    　前記背景データ記憶部に記憶された複数の背景データと前記識別情報、および、伸長された背景分離データに基づいて、画像データを生成する画像データ生成部と、を備えることを特徴とした画像伸張装置。
  6. 画像データを取得する画像データ取得工程と、
    　取得された前記画像データのうちの所定の領域に含まれる画素の画素値と、複数の背景データと前記背景データを識別する識別情報とを対応づけて記憶する背景データ記憶部に記憶された前記背景データのうちの前記所定の領域に含まれる画素の画素値との差分値が閾値以下である場合に、当該所定の領域に前記背景データに対応する識別情報を格納する背景分離データを生成する背景分離データ生成工程と、
    　生成された前記背景分離データを圧縮する圧縮工程と、を含むことを特徴とする画像圧縮方法。
  7. 画像データのうち、背景と判断された所定の領域に、複数の背景データと前記背景データを識別する識別情報とを対応づけて記憶する背景データ記憶部に記憶された前記背景データに対応する識別情報を格納した背景分離データを受信する受信工程と、
    　受信された前記背景分離データを伸張する伸張工程と、
    　前記背景データ記憶部に記憶された複数の背景データと前記識別情報、および、伸長された背景分離データに基づいて、画像データを生成する画像データ生成工程と、を含むことを特徴とする画像伸張方法。
  8. 画像データを取得する画像データ取得工程と、
    　取得された前記画像データのうちの所定の領域に含まれる画素の画素値と、複数の背景データと前記背景データを識別する識別情報とを対応づけて記憶する背景データ記憶部に記憶された前記背景データのうちの前記所定の領域に含まれる画素の画素値との差分値が閾値以下である場合に、当該所定の領域に前記背景データに対応する識別情報を格納する背景分離データを生成する背景分離データ生成工程と、
    　生成された前記背景分離データを圧縮する圧縮工程と、をコンピュータに実行させるための画像圧縮プログラムを記録したコンピュータ読み取り可能な記録媒体。
  9. 画像データのうち、背景と判断された所定の領域に、複数の背景データと前記背景データを識別する識別情報とを対応づけて記憶する背景データ記憶部に記憶された前記背景データに対応する識別情報を格納した背景分離データを受信する受信工程と、
    　受信された前記背景分離データを伸張する伸張工程と、
    　前記背景データ記憶部に記憶された複数の背景データと前記識別情報、および、伸長された背景分離データに基づいて、画像データを生成する画像データ生成工程と、をコンピュータに実行させるための画像伸張プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2010/053480 2010-02-25 2010-02-25 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体 WO2011104890A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/053480 WO2011104890A1 (ja) 2010-02-25 2010-02-25 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/053480 WO2011104890A1 (ja) 2010-02-25 2010-02-25 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2011104890A1 true WO2011104890A1 (ja) 2011-09-01

Family

ID=44506332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/053480 WO2011104890A1 (ja) 2010-02-25 2010-02-25 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2011104890A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116779114A (zh) * 2023-08-24 2023-09-19 邹城市人民医院 一种抗肿瘤医疗mri图像信息智能管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186511A (ja) * 1999-12-27 2001-07-06 Hitachi Ltd 監視装置、監視プログラムが記録された記録媒体
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186511A (ja) * 1999-12-27 2001-07-06 Hitachi Ltd 監視装置、監視プログラムが記録された記録媒体
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116779114A (zh) * 2023-08-24 2023-09-19 邹城市人民医院 一种抗肿瘤医疗mri图像信息智能管理系统
CN116779114B (zh) * 2023-08-24 2023-11-03 邹城市人民医院 一种抗肿瘤医疗mri图像信息智能管理系统

Similar Documents

Publication Publication Date Title
US10334244B2 (en) Image processing device and method for generation of prediction image
KR100477647B1 (ko) 영상의 움직임 보정 장치 및 방법
US10587892B2 (en) Image processing apparatus, image processing method, and program for generating motion compensated image data
JP5581688B2 (ja) 画像処理装置および方法、並びにプログラム
US20160358381A1 (en) Communication apparatus and control method therefor
JP2010062792A (ja) 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
JP2007235191A (ja) 映像再生装置及び映像再生方法
JP2004241869A (ja) 透かし埋め込み及び画像圧縮部
US9930352B2 (en) Reducing noise in an intraframe appearance cycle
WO2011104890A1 (ja) 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
EP2063637A2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
EP4203474A1 (en) Image processing method and apparatus, device, and computer readable storage medium
US20130089146A1 (en) Information processing apparatus and information processing method
US10893290B2 (en) Apparatus for moving image coding, apparatus for moving image decoding, and non-transitory computer-readable storage medium
US9549205B2 (en) Method and device for encoding video
JP2010041454A (ja) 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
KR102459813B1 (ko) 영상스위칭 기반의 주기적 화질보정 영상처리 방법
JP6649212B2 (ja) 符号化装置、復号装置、および画像処理システム
WO2011096091A1 (ja) 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法および記録媒体
JP2004173012A (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4158474B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
CN111279388A (zh) 动态图像处理装置、动态图像处理系统、以及动态图像处理方法
JP2005150808A (ja) 監視映像記録システム
JP2004056459A (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10846553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13-12-2012)

122 Ep: pct application non-entry in european phase

Ref document number: 10846553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP